又到了年终，这意味着现在是KDnuggets年终专家分析和预测的时候了。今年，我们提出了一个问题：

2019年AI，数据科学，深度学习和机器学习的主要发展是什么？您预计2020年会有哪些主要趋势？

当我们回顾一年前专家的预测时，我们看到了可以被视为自然技术进步的混合结果，并带有一些更雄心勃勃的预测。有几个一般性主题，以及几个值得注意的预后。

特别是，人们不止一次提到了对AI的持续恐惧，而且这一预测似乎已经平息了。关于自动化机器学习的进展的讨论很普遍，尽管人们对它是否有用还是步履蹒跚持不同意见。我认为在某种程度上尚无定论，但是当对技术的期望降低时，将其视为有用的添加物而不是迫在眉睫的替代物变得容易了。也有充分的理由指出了增加的AI永远是有益的，并且有无数的例子表明了这种预测的准确性。实用的机器学习会产生影响的想法在那里提出，这表明乐趣和游戏即将结束，现在是时候进行机器学习了。这是真的，传闻表明从业者正在寻找这些机会。最后，提到反乌托邦人工智能发展引起的对监视，恐惧和操纵的日益关注，可以通过对过去一年的新闻进行简单的现场检查来确信地将其添加到成功的预测类别中。

还有一些预测还没有完成。但是，在这种练习中这是不可避免的，我们将让那些感兴趣的读者自行寻找。

今年我们的专家名单包括Imtiaz Adam，Xavier Amatriain，Anima Anandkumar，Andriy Burkov，Georgina Cosma，Pedro Domingos，Ajit Jaokar，Charles Martin，Ines Montani，Dipanjan Sarkar，Elena Sharova，Rosaria Silipo和Daniel Tunkelang。我们感谢他们所有人从忙碌的年终时间表中抽出时间为我们提供见解。

这是接下来一周内三篇类似文章中的第一篇。尽管它们将被划分为研究，部署和行业，但这些学科之间存在相当大且可以理解的重叠，因此，我们建议您在发布这三本书时都将其检出。

头像标题图片

毫不犹豫的是，这是今年专家组提出的2019年主要趋势和2020年的预测。

Imtiaz Adam（@ DeepLearn007）是人工智能与战略执行官。

在2019年，组织提高了对与数据科学中的道德与多样性有关的问题的认识。

彩票假说论文显示了通过修剪可以简化深度神经网络训练的潜力。Neuro Symbolic Concept Learner论文显示了将逻辑和深度学习与增强的数据和内存效率结合起来的潜力。

GAN的研究获得了动力，尤其是深度强化学习受到了很多研究关注，包括逻辑强化学习和用于参数优化的遗传算法等领域。

TensorFlow 2随附Keras集成且急于执行默认模式。

2020年，数据科学团队和商业团队将更加融合。5G将推动AI推理的发展，推动智能物联网的发展，这意味着AI将越来越多地进入物理世界。深度学习与增强现实相结合将改变客户体验。

Xavier Amatriain（@xamat）是Curai的联合创始人/首席技术官。

我认为这是深度学习和NLP的一年，这一点很难反对。更具体地说，是语言模型的年份。或更具体而言，是《变形金刚》和GPT-2的一年。是的，这可能令人难以置信，但是距OpenAI首次使用至今不到一年已发布谈到他们的GPT-2语言模型。这篇博客文章引发了很多关于AI安全的讨论，因为OpenAI并不乐意发布该模型。从那时起，该模型被公开复制，并最终发布。但是，这并不是该领域的唯一进步。我们已经看到Google发布了AlBERT或XLNET，还讨论了BERT如何成为多年来Google搜索最大的改进。从Amazon和Microsoft到Facebook的所有人 似乎已经真正地加入了语言模型革命，我确实希望在2020年在该领域看到令人瞩目的进步，而且似乎我们越来越接近通过图灵测试。

Anima Anandkumar（@AnimaAnandkumar）是NVIDIA机器学习研究总监，也是加州理工学院的Bren教授。

研究人员旨在更好地了解深度学习，其泛化特性和失败案例。减少对标记数据的依赖是一个重点，而自训练等方法也取得了进展。模拟对于AI培训变得越来越重要，并且在诸如自动驾驶和机器人学习等视觉领域（包括在DriveSIM和Isaac等NVIDIA平台上）的逼真度也越来越高。语言模型变得很庞大，例如NVIDIA的80亿Megatron模型在512 GPU上进行了训练，并开始生成连贯的段落。但是，研究人员在这些模型中显示出虚假的相关性和不良的社会偏见。人工智能法规已成为主流，许多知名政客都表示支持政府机构禁止面部识别。从去年的NeurIPS名称更改开始，人工智能会议开始执行行为守则，并加大了努力以改善多样性和包容性。在未来的一年中，我预计将会有新的算法开发，而不仅仅是深度学习的表面应用。这将特别影响物理，化学，材料科学和生物学等许多领域的“科学人工智能”。

Andriy Burkov（@burkov）是Gartner的机器学习团队负责人，也是《百页机器学习书》的作者。

毫无疑问，主要的发展是BERT，这是一种语言建模神经网络模型，可在几乎所有任务上提高NLP的质量。Google甚至将其用作相关性的主要信号之一-多年来最重要的更新。

在我看来，关键趋势将是PyTorch在业界的广泛采用，对更快的神经网络训练方法的研究以及对便利硬件上的神经网络的快速训练的研究。

Georgina Cosma（@ gcosma1）是拉夫堡大学的高级讲师。

在2019年，我们对诸如YOLOv3之类的深度学习模型令人印象深刻的功能进行了评估，以应对各种复杂的计算机视觉任务，特别是实时对象检测。我们也已经看到，生成对抗网络继续吸引着深度学习社区的关注，其用于ImageNet生成的BigGAN模型以及用于人类图像合成的StyleGAN用于图像合成。今年，我们还意识到，愚弄深度学习模型非常容易，一些研究还表明，深度神经网络很容易受到对抗性例子的攻击。在2019年，我们还看到有偏差的AI决策模型被部署用于面部识别，招聘和法律应用。我希望在2020年看到多任务AI模型的发展，这些模型旨在实现通用和多用途，

Pedro Domingos（@pmddomingos）是华盛顿大学计算机科学与工程系的教授。

2019年的主要发展：

  • 上下文嵌入的快速传播。它们还不到两年的历史，但是现在它们在NLP中占据了主导地位，而且Google已经在搜索引擎中部署了它们，据报道，每10个搜索中就有1个改进了。从视觉到语言，在大数据上预先训练模型，然后针对特定任务对其进行调整已成为标准。
  • 双重血统的发现。我们对超参数化模型如何很好地泛化而完美拟合训练数据的理论理解已得到很大改善，特别是通过对以下观察结果的候选解释：-与经典学习理论的预测相反-泛化误差随着模型容量而下降，上升然后下降增加。
  • 媒体和公众对AI进步的看法变得更加怀疑，人们对自动驾驶汽车和虚拟助手的期望越来越低，而浮华的演示也不再具有价值。

2020年的主要趋势：

  • 深度学习人群尝试从视觉和语音识别等低级知觉任务到语言理解和常识性推理等高级认知任务“爬升”的尝试将加快速度。
  • 通过在问题上投入更多的数据和计算能力来获得更好的结果的研究模式将达到极限，因为它的指数成本曲线比摩尔定律还要陡峭，而且即使富裕公司也负担不起。
  • 幸运的是，我们将进入Goldilocks时代，那里既没有关于AI的过度宣传，也没有另一个AI冬季。

Ajit Jaokar（@AjitJaokar）是牛津大学“人工智能：云与边缘实现”课程的课程主任。

在2019年，我们将牛津大学的课程更名为人工智能：云和边缘实现这也反映了我的个人观点，即2019年是云成熟的一年。今年是我们谈论的各种技术（大数据，人工智能，物联网等）在云框架内融合在一起的一年。这种趋势将继续-特别是对于企业。公司将采取“数字化转型”计划-在这些计划中，他们将使用云作为统一的范式来转换由AI驱动的流程（类似于重新设计公司2.0）

在2020年，我还将看到NLP逐渐成熟（BERT，威震天）。5G将继续部署。当2020年后5G全面部署（例如无人驾驶汽车）时，我们将看到IoT的广泛应用。最后，在IoT方面，我遵循一种称为MCU（微控制器单元）的技术-特别是机器学习模型或MCU的部署

我相信AI会改变游戏规则，每天我们都会看到许多有趣的AI部署示例。阿尔文·托夫勒（Alvin Toffler）在未来的震惊中所预测的大部分内容，今天已经在我们身边了–人工智能究竟将如何放大，还有待观察！可悲的是，人工智能的变化速度将使许多人落伍。

Charles Martin是AI科学家和顾问，并且是Calculation Consulting的创始人。

BERT，ELMO，GPT2等！2019年的AI在NLP方面取得了巨大进步。OpenAI发布了他们的大型GPT2模型-用于文本的DeepFakes。谷歌宣布将BERT用于搜索-这是自熊猫以来的最大变化。甚至我在UC Berkeley的合作者都发布了（量化的）QBERT，用于低占用空间的硬件。每个人都在制作自己的文档嵌入。

这对2020年意味着什么。根据搜索专家的说法，2020年将是具有相关性的一年*（呃，他们一直在做什么？）。期望看到通过BERT样式的微调嵌入，向量空间搜索最终会受到关注。

在引擎盖下，PyTorch在2019年超过Tensorflow作为AI研究的选择。随着TensorFlow 2.x的发布（以及pytorch的TPU支持）。2020年的AI编码将全都渴望执行。

大公司在AI方面正在进步吗？报告显示成功率为十分之一。不是很好。因此，AutoML将在2020年出现需求，尽管我个人认为，像取得出色的搜索结果一样，成功的AI需要针对业务的定制解决方案。

词云

Ines Montani（@_inesmontani）是致力于人工智能和自然语言处理技术的软件开发人员，并且是Explosion的共同创始人。

每个人都选择“ DIY AI”而不是云解决方案。推动这一趋势的一个因素是迁移学习的成功，这使任何人都可以更轻松地以良好的准确性训练自己的模型，并根据他们的特定用例进行微调。每个模型只有一个用户，服务提供商无法利用规模经济。转移学习的另一个优点是，数据集不再需要那么大，因此注释也在内部移动。住房趋势是一个积极的发展：商业AI的集中程度远低于许多人的预期。几年前，人们担心每个人都只能从一个提供商那里获得“他们的AI”。取而代之的是，人们并没有从任何提供商那里获得AI，而是他们自己在做。

Dipanjan Sarkar是Applied Materials的数据科学负责人，Google Developer Machine-Experts的作者，作家，顾问和培训师。

2019年人工智能领域的主要进步是在自动ML，可解释AI和深度学习领域。自最近几年以来，数据科学的民主化仍然是一个关键方面，并且与Auto-ML有关的各种工具和框架都在试图使这一过程变得更容易。还有一点需要注意的是，在使用这些工具时，我们需要小心以确保我们不会出现偏倚或过度拟合的模型。公平，负责和透明仍然是客户，企业和企业接受AI决策的关键因素。因此，可解释的AI不再是仅限于研究论文的主题。许多优秀的工具和技术已经开始使机器学习模型的决策更具可解释性。最后但是同样重要的，在深度学习和转移学习领域，尤其是在自然语言处理方面，我们已经看到了许多进步。我希望在2020年围绕NLP和计算机视觉的深度转移学习领域看到更多的研究和模型，并希望有一些东西能够充分利用深度学习和神经科学的知识，从而引导我们迈向真正的AGI。

Elena Sharova是ITV的高级数据科学家。

到目前为止，在DeepMind DQN和AlphaGo的游戏中，深度强化学习是2019年最重要的机器学习的发展; 导致围棋冠军Lee Sedol退役。另一个重要的进步是自然语言处理，谷歌和微软开源了BERT（深度双向语言表示），从而领导了GLUE基准测试，并开发了用于语音解析任务的MT-DNN集成并进行了开源采购。

重要的是要强调欧洲委员会发布的《可信AI道德准则》，这是第一份正式出版物，其中列出了关于合法，道德和健壮AI的明智准则。

最后，我要与KDnuggets读者分享，PyData London 2019的所有主题演讲者都是女性-这是一个可喜的进步！

我预计2020年的主要机器学习发展趋势将在NLP和计算机视觉领域内继续。采用ML和DS的行业已经意识到，他们在为聘用和保留数据科学家，管理涉及DS和ML的项目的复杂性以及确保社区保持开放和协作性方面的最佳实践定义共享标准时，已经逾期未了。因此，我们应该在不久的将来看到更多关注此类标准的内容。

Rosaria Silipo（@DMR_Rosaria）是KNIME的首席数据科学家。

2019年最有希望的成就是采用主动学习，强化学习和其他半监督学习程序。半监督学习可能会带来希望对当前填充我们数据库的所有这些未标记数据存根。

另一个重大进步是在autoML概念中用“指导”对“自动”一词进行了更正。对于更复杂的数据科学问题，专家干预似乎是必不可少的。

2020年，数据科学家将需要一种快速的解决方案，以实现简单的模型部署，持续的模型监视和灵活的模型管理。真正的业务价值将来自数据科学生命周期的这三个最终部分。

我还相信，深度学习黑匣子的更广泛使用将引发机器学习可解释性（MLI）的问题。到2020年底，我们将看到MLI算法是否能够应对详尽解释深度学习模型闭门事件的挑战。

Daniel Tunkelang（@dtunkelang）是专门从事搜索，发现和ML / AI的独立顾问。

AI的最前沿仍然专注于语言理解和生成。

OpenAI发布了GPT-2以预测和生成文本。出于对恶意应用程序的关注，OpenAI当时并未发布经过​​训练的模型，但最终他们  改变了主意。

Google发布了大小为80MB 的设备上语音识别器，从而可以在移动设备上执行语音识别，而无需将数据发送到云端。

同时，我们看到了有关AI和隐私的担忧日益加剧。今年，所有主要的数字助理公司都在听取用户对话的员工或承包商周围遭到强烈反对。

2020年将为人工智能带来什么？我们将看到对话式AI的进一步发展，以及更好的图像和视频生成。这些进展将使人们更加关注恶意应用程序，并且我们可能会看到一两个丑闻，尤其是在选举年。善恶AI之间的张力不会消失，我们必须学习更好的应对方法。

相关：

本文转自kdnuggets，原文地址