本文是转载文章,原文:《Here’s where AI will advance in 2021

内容是Google翻译的结果,虽然有些问题,但不影响整体理解。

人工智能继续快速发展。即使在不乏引人注目的新闻的2020年,人工智能的进步也多次引起了主流关注。尤其是OpenAI的GPT-3,展示了我们可能很快会看到AI渗透到日常生活的新颖而令人惊讶的方式。如此迅速的进展使得对AI的未来进行预测变得有些困难,但是某些领域似乎已经取得了突破。以下是我们对2021年特别乐观的AI领域中的一些领域。

Transformer

2020年最大的AI成就中有两项悄悄地共享了相同的底层AI结构。OpenAI的GPT-3和DeepMind的AlphaFold都基于称为Transformer的序列处理模型。尽管Transformer的结构自2017年以来就已经存在,但GPT-3和Alphafold证明了Transformer的非凡能力比上一代序列模型更深入,更快速地学习,并且能够很好地处理自然语言处理之外的问题。

与先前的序列建模结构(例如递归神经网络和LSTM)不同,变形金刚脱离了按顺序处理数据的范式。他们使用称为注意力的机制一次处理整个输入序列,以了解输入的哪些部分与其他部分相关。这使Transformers可以轻松地关联输入序列的遥远部分,这是递归模型难以克服的任务。它还允许并行进行培训的重要部分,从而更好地利用近年来已可用的大规模并行硬件,并大大减少了培训时间。毫无疑问,研究人员将在2021年寻找新的地方来应用这种有前途的结构,并且有充分的理由期待取得积极的结果。实际上,OpenAI在2021年已经修改了GPT-3以根据文本描述生成图像。变压器看起来已经准备好统治2021年。

图神经网络

许多领域的数据自然都具有图表结构:计算机网络,社交网络,分子/蛋白质和运输路线只是其中的几个例子。图神经网络(GNN)允许将深度学习应用到图结构化数据,我们希望GNN在将来成为越来越重要的AI方法。更具体地说,我们预计到2021年,一些关键领域的方法学进步将推动GNN的广泛采用。

动态图是第一个重要的领域。迄今为止,大多数GNN研究都假设一个静态的,不变的图,但上述情况必然会随着时间而发生变化:例如,在社交网络中,成员加入(新节点)而友谊改变(不同边缘)。在2020年,我们看到了一些将时间演化图建模为一系列快照的努力,但是2021年将扩展这一新生的研究方向,重点是将动态图建模为连续时间序列的方法。除了通常的拓扑结构之外,这种连续建模还应使GNN能够发现图中的时间结构并从中学习。

消息传递范式的改进将是另一个使人前进的进步。消息传递是实现图神经网络的一种常用方法,它是通过沿连接邻居的边缘“传递”信息来聚集有关节点的信息的一种方法。尽管很直观,但是消息传递却难以捕获需要信息在图形上长距离传播的效果。明年,我们希望突破性突破这一范式,例如通过迭代学习哪些信息传播路径最相关,甚至学习关系数据集上的全新因果图。

应用领域

去年的许多头条新闻都强调了AI在实际应用中的新兴进展,并且2021年有望利用这些进展。尤其是,依赖自然语言理解的应用程序可能会随着对GPT-3 API的访问变得更加可用而取得进步。该API允许用户访问GPT-3的功能,而无需他们训练自己的AI,这本来就很昂贵。在Microsoft购买GPT-3许可证后,我们可能还会看到该技术也出现在Microsoft产品中。

在2021年,其他应用领域也可能会从AI技术中受益匪浅,人工智能和机器学习(ML)逐渐进入了网络安全领域,但2021年显示出将轨迹推得更陡的潜力。正如SolarWinds漏洞所突显的那样,公司正面临来自网络犯罪分子和国家行为者的迫在眉睫的威胁,以及不断发展的恶意软件和勒索软件配置的威胁。在2021年,我们预计将积极推动先进的行为分析AI来增强网络防御系统。人工智能和行为分析对于帮助识别新威胁(包括早期威胁的变体)至关重要。

我们还预计,到2021年,默认将在边缘设备上运行机器学习模型的应用程序将会增加。随着处理能力和量化技术的进步,诸如谷歌的Coral等具有板载张量处理单元(TPU)的设备必将越来越普及。Edge AI消除了将数据发送到云进行推理的需求,节省了带宽并减少了执行时间,这两者在医疗保健等领域都至关重要。边缘计算还可以在其他需要隐私,安全,低延迟的区域以及世界上无法访问高速Internet的区域中打开新应用程序。

总结

人工智能技术在实际领域中继续激增,而Transformer结构和GNN的进步很可能会刺激那些尚未轻易适应现有AI技术和算法的领域中的进步。我们在这里重点介绍了今年似乎有待改进的几个方面,但是随着今年的到来,无疑会有惊喜。俗话说,对未来尤其是对未来的预测很难,但对还是错,2021年对于AI领域来说似乎是令人兴奋的一年。

easyai公众号