Blog

好文分享

Google新技术帮助我们了解神经网络的思维方式

可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究的最新进展使得能够创建高度复杂的模型，其中包括数千个隐藏层和数千万个神经元。虽然创建令人难以置信的高级深度神经网络模型相对简单，但了解这些模型如何创建和使用知识仍然是一个挑战。最近，Google Brain团队的研究人员发表了一篇论文，提出了一种名为概念激活向量（CAV）的新方法，它为深度学习模型的可解释性提供了一个新的视角。

可解释性与准确性

要理解CAV技术，了解深度学习模型中可解释性挑战的本质非常重要。在当前一代深度学习技术中，模型的准确性与我们解释其知识的能力之间存在着永久的摩擦。可解释性 – 准确性摩擦是能够完成复杂知识任务和理解这些任务是如何完成之间的摩擦。知识与控制，绩效与责任，效率与简单……选择你最喜欢的困境，所有这些都可以通过平衡准确性和可解释性之间的权衡来解释。

您是否关心获得最佳结果，或者您是否关心如何产生这些结果？这是数据科学家在每个深度学习场景中都需要回答的问题。许多深度学习技术本质上是复杂的，虽然它们在许多场景中都非常准确，但它们的解释却非常难以理解。如果我们可以在一个与准确性和可解释性相关的图表中绘制一些最着名的深度学习模型，我们将获得如下内容：

深度学习模型中的可解释性不是一个单一的概念，可以跨多个层次看到：

实现上图中定义的每个层的可解释性需要几个基本构建块。在最近的一篇论文中，谷歌的研究人员概述了他们认为可解释性的一些基本构建块。

Google总结了可解释性原则如下：

– 了解隐藏层的作用：深层学习模型中的大部分知识都是在隐藏层中形成的。在宏观层面理解不同隐藏层的功能对于解释深度学习模型至关重要。

– 了解节点的激活方式：可解释性的关键不在于理解网络中各个神经元的功能，而是在同一空间位置一起激发的互连神经元群。通过互连神经元组对网络进行分段将提供更简单的抽象级别来理解其功能。

– 理解概念是如何形成的：了解神经网络形成的深度，然后可以组合成最终输出的个体概念是可解释性的另一个关键构建块。

这些原则是Google新CAV技术背后的理论基础。

概念激活向量

遵循上一节中讨论的想法，可解释性的自然方法应该是根据它所考虑的输入特征来描述深度学习模型的预测。一个典型的例子是逻辑回归分类器，其中系数权重通常被解释为每个特征的重要性。然而，大多数深度学习模型对诸如像素值之类的特征进行操作，这些特征与人类容易理解的高级概念不对应。此外，模型的内部值（例如，神经激活）似乎是不可理解的。虽然诸如显着图之类的技术在测量特定像素区域的重要性方面是有效的，但是它们无法与更高级别的概念相关联。

CAV背后的核心思想是衡量概念在模型输出中的相关性。概念的CAV只是该概念的一组示例的值（例如，激活）方向上的向量。在他们的论文中，Google研究团队概述了一种名为Testing with CAV（TCAV）的新线性可解释方法，该方法使用方向导数来量化模型预测对CAV学习的基础高级概念的敏感性。从概念上讲，TCAV的定义有四个目标：

– 可访问性：用户几乎不需要ML专业知识。

– 定制：适应任何概念（例如，性别），并不限于培训期间考虑的概念。

– 插件就绪：无需重新训练或修改ML型号即可工作。

– 全局量化：可以使用单一定量度量来解释整个类或一组示例，而不仅仅是解释单个数据输入。

为实现上述目标，TCAV方法分为三个基本步骤：

1）为模型定义相关概念。

2）理解预测对这些概念的敏感性。

3）推断每个概念对每个模型预测类的相对重要性的全局定量解释。

TCAV方法的第一步是定义感兴趣的概念（CAV）。TCAV通过选择一组代表该概念的示例或找到标记为概念的独立数据集来实现此目的。通过训练线性分类器来学习CAV，以区分概念的示例和任何层中的示例所产生的激活。

第二步是生成一个TCAV分数，用于量化预测对特定概念的敏感性。TCAV通过使用方向性导数来实现这一点，该方向导数用于衡量ML预测对神经激活层的概念方向输入变化的敏感性。

最后一步尝试评估学习CAV的全局相关性，以避免依赖不相关的CAV。毕竟，TCAV技术的一个缺陷是有可能学习无意义的CAV。毕竟，使用随机选择的一组图像仍然会产生CAV。基于这种随机概念的测试不太可能有意义。为了应对这一挑战，TCAV引入了统计显着性检验，该检验针对随机数量的训练运行（通常为500次）评估CAV。该想法是，有意义的概念应该导致TCAV分数在训练运行中表现一致。

TCAV在行动

与其他可解释性方法相比，Google Brain团队进行了多次实验来评估TCAV的效率。在一项最引人注目的测试中，该团队使用了一个显着图，试图预测标题或图像的相关性，以了解出租车的概念。显着性图的输出如下所示：

使用这些图像作为测试数据集，Google Brain团队在Amazon Mechanical Turk上使用50人进行了实验。每个工作人员执行一系列六个任务（3个对象类x 2s效率图类型），所有这些任务都针对单个模型。任务顺序是随机的。在每项任务中，工作人员首先看到四个图像及其相应的显着性面具。然后，他们评估了他们认为图像对模型的重要程度（10分制），标题对模型的重要程度（10分制），以及他们对答案的自信程度（5分制）。总共，特种飞行员评定了60个独特的图像（120个独特的显着图）。

实验的基本事实是图像概念比标题概念更相关。然而，当观察显着性图时，人们认为标题概念更重要（具有0％噪声的模型），或者没有辨别出差异（具有100％噪声的模型）。相比之下，TCAV结果正确地表明图像概念更重要。

TCAV是过去几年中最具创新性的神经网络解释方法之一。初始技术的代码可以在GitHub上获得，我们应该期望看到一些主流深度学习框架适应的想法。

本文转自towardsdatascience，原文地址

好文分享

管理AI产品的基本指南

在这篇文章中，当我使用术语AI产品管理（APM）时，我的意思是包括AI和ML（技术上更准确）。我相信AI PM是一个关键角色，需要特定的技能，判断力和经验，这对AI产品和计划的成功至关重要。

作为APM的成功实践和AP Meetup的组织者，我想分享我遇到的有用资源，最佳实践和技巧，并从我的经验中学习。这里的原则和提示对项目经理，软件经理以及您为技术团队做出决策的任何角色都很有用。我不会花时间谈论人工智能的基础知识，因为我认为你已经拥有了这个背景。但是，如果您想了解ML或者您想了解更多有关PM角色的信息，最后会有参考文献。

产品管理的角色/名称是相对较新的 – 我会说〜25年。AI产品管理专注于使用AI，深度学习和/或机器学习来增强，改进，创建和塑造产品。AI产品管理（APM）当然是最近的一个角色。

AI产品经理是互联网产品经理的子集
AI产品经理是互联网产品经理的子集

最近对全球商业领袖的一项调查显示，70％的人已开始实施人工智能计划 随着人工智能在业务中的激增，很容易看到B2C和B2B产品和服务的应用：Google Search / Photos / Translate，Alexa，Amazon Recommendations，Stitch Fix。Nest，特斯拉自动驾驶仪。机器学习（和数据）是所有这些中的共同点。当然，还有更多的产品由幕后的ML提供支持。

如果人工智能正确的组织与那些正在努力采用人工智能的组织（这是大多数人）之间仍存在巨大的差距。我的POV是APM在AI计划的成功中发挥关键作用。正如Marty Cagan所说，每一件成功的产品背后都是负责其成功的产品经理。

每一个伟大的人工智能产品背后都是产品经理或领导者，他们领导了这一愿景，帮助了数据，促进了技术团队的工作，倾听了客户的意见，同情并推动了业务指标所带领的采用和增长。

让我们从赌桌开始吧。出色的AI产品管理和领导力（是的，这是两个不同的层次！）应包括技术产品管理和领导力的原则和最佳实践。

AI产品经理角色
AI产品经理角色

对于维恩图中的每个圆圈，您都有特定的要求，例如，用户/客户体验对于所有数字产品都很重要，但对于B2B AI / ML产品可能有所不同。

正如这篇HBR文章指出的那样，所谓的“数据产品”的生命周期反映了标准产品开发：识别解决核心用户需求的机会，构建初始版本，影响迭代。当然，APM还有很多，因为除了数据的复杂性之外，您还必须处理AI模型和流程的复杂和迭代性质。本文建议跨数据协作和评估以及数据产品机会的优先级，并着眼于长期目标。

“ 这里缺乏为企业构建AI应用程序的产品经理的既定工作流程” – Andrew Ng

APM的基本技能和品质是什么？

＃1坚实的数据和建模技术 – 应具备实践经验或数据和模型的工作知识

＃2通信 – 产品经理是“将不同语言的公司的所有各种功能和角色结合在一起的粘合剂” – Ken Norton，GV

“PM的工作不仅仅是硬技能，还包括其他技能 – 说服，谈判，讲故事，视觉设置和沟通。” – 匿名

＃3完成任务：挑战，促进和交付 – 例如，APM的关键任务之一是创建捕获产品属性的特殊测试集。

“优秀的产品经理清晰地定义目标，”什么“（而不是如何）并管理”什么“的交付。 – Ben Horowitz Link

AI产品管理的 3 个阶段

考虑任何产品的三个关键阶段以及涉及AI / ML时它如何变化。

1）成立：决定做什么？为什么？结合数据，分析和判断。问正确的问题。有足够的深度来过滤噪音并专注于有价值的POC，而不是科学实验或没有数据或扩展可能性的商业梦想。POC变得更加重要 – 必须与组织的现实相匹配。

产品经理的工作是发现/创造一种有价值，可用且可行的产品–Marty Cagan

说ML不是一个好的候选人（制作清单）。或者决定使用多少ML与其他方法，如规则等。对于所有其他方法，优先管理和管理管道！

不使用AI时的示例：

  • 请参阅此视频，其中列出了一些常见方案，例如：何时需要100％准确度，何时没有足够数据，何时没有质量数据等。注意偏向数据或用例可能歧视针对某一群体等
  • WSJ最近的一篇文章指出了亚马逊使用机器学习将某些产品标记为“亚马逊选择”的方式存在缺陷。

“亚马逊的选择” 不是质量保证。亚马逊不测试这些产品; 它使用一种考虑各种因素的算法为它们加冠，包括流行度，运输速度，价格等。专家说，卖家已经开始找出操纵算法的方法。

2）发展：组织结构很重要。理解和协调组织结构，角色 – 利弊。数据素养，领域深度和极客信誉都很重要。在不同的阶段让正确的中小企业参与其中，APM是将所有AI元素保持在一起的粘合剂！改善的速度和频率很重要！敏捷，聪明。的POC。系列MVP：轻量级模型，购买/借用数据

3）商业化：您将如何生产产品？你有合适的人，流程和工具吗？您将如何持续监控性能并改进产品？

AI PM的关键要点：

  1. 相信数据的不合理有效性（以及关键重要性）。确保您拥有正确用途的正确数据。投资获取和维护战略数据集 – 它们通常是竞争差异化的源泉，而不是模型。正如Andrew Ng所说：数据集是新的（AI）线框！

PM的工作是创建捕获产品属性的特殊测试集 – （来自Lex Fridman的AI Podcast与Spotify产品经理）

  1. 做一个有效的翻译 – 一方面是技术深度（Sisk称之为Nerd Cred），另一方面你需要简化并删除行话 – 图＃2 Atlas。目前的AI / ML浪潮相对较新，受到炒作，快节奏变化，高质量人才的瓶颈以及由于众多供应商和工具匆匆而引起的混乱。成为能够跨越技术业务的领导者，ML- IT，财务 – 所有其他人的差距！
  2. 管理期望和利益相关者。AI产品的不确定性很高。失败的可能性高于普通的软件项目） – 需要付出努力才能真正了解模型的优秀程度。永远记住要考虑利益相关者并记住关键问题：它们对它们有什么影响？系列MVP：轻量级模型，购买/借用数据，缩小域名，手=策展
  3. 对客户/用户的同情 – 以同理心看待隐私 – 探索差异隐私等新解决方案 – 采用什么？用户/以人为中心的错误测量框架
  4. 降低风险并增加信任 – 一些组织可能有专门的工作人员来承担风险，但大多数组织都没有。作为APM，您是偏见，公平和隐私问题的前门守护者。APM也应该推动可解释性。确保您对产品的信任！
  5. 谨慎传播 – 算法的智能性与它带来的智能价值，你将如何衡量它，例如误报。你如何衡量价值？它将如何改变行为？想想前面几步 – 例如会刷太多？
  6. 工艺/生命周期/设计很重要，工程师KAIZEN从一开始就是如此。确定关键业务指标（KPI）以及它们如何转化为建模指标。遵循敏捷开发（尤其适用于基于AI的产品和系统，非常重要），让用户在开发周期的早期阶段通过与用户分享实时反馈来帮助测试，改进和改进产品中的AI功能。开发团队。对于AI驱动的应用程序，测试过程必须从根本上改变。优化算法要求许多用户对其进行测试，以确保它们适用于多种不同的场景。“
PM在数据和建模中的作用 - 信用
PM在数据和建模中的作用 – 信用

除了主要内容之外，还有一些我从不同来源和我自己的经验中收集的提示和建议。以下是APM的一些提示和建议：

  • 您需要一种不同的人工智能战略和规划方法 – 更多的前期工作和数据探索，以识别和审查机会（需要数据探索）
  • 不要低估共同愿景，理解和有效沟通的重要性。当多个团队协调工作（减少摩擦），发展共同理解并通过不同的亚文化工作时，AI计划最有效。将不同的角色聚集在一起，互相学习，让数据技术人员充当“福音传道者”……提供原始访问
  • 太多的数据可能会让人不堪重负并使主动性看起来过于复杂 – 显示而不是告诉 – 数据产品有自己独特的曲折 – 数据管理和治理已经存在了一段时间，但必须处理遗留资产以及3V的新数据
  • 正在进行的周期 – 产品将如何随着时间推移？上或下？谁正在监控正在收集的数据并将其货币化？如何随着时间的推移改善事物？例如：结果数据。评价？产品以何种速度从数据收集中有机地改进？如今，具有令人兴奋的指标的产品可能值得保留。迭代的速度和性质 – 从哪里来？用户反馈？自动？您将如何测试和部署模型的变体？
  • 产品领导说明 – 风格，产品阶段，公司，产品环境，构建良好的团队 – 管理，流程，上下文切换（从10K英尺视图到2英寸视图来回）

最后的想法：

“成功取决于公司培养”强大的数字骨干“的能力，”将技术和人才融入业务流程的成熟能力，以及靠近用户和市场的持续学习。“ – Irving Berger，WSJ

注释和参考：

==关于管理者ML的资源==

** Gen PM资源**

本文转自medium，原文地址