本文转自《The Only 3 ML Tools You Need》

全文由机器翻译，很多地方阅读体验不佳，但是不影响全文的理解。

图片作者

快速发展的许多机器学习技术已经从概念验证转变为为人们日常依赖的关键技术提供支持。为了抓住这个新近释放的价值，许多团队发现自己陷入了在产品中机器学习生产化的热潮，而没有合适的工具来成功地做到这一点。

事实是，我们是在早期局Ø ˚F确定正确的工具套件将是什么样子的构建，部署和迭代的机器学习模型。在本文中，我们将讨论使团队成功地在产品中应用机器学习所需的仅3种ML工具。

让我们从过去中学习

在我们提出ML堆栈建议之前，让我们迅速将注意力转移到软件工程行业如何适应的工具上。一个主要的观察结果是，没有一种解决方案可用于构建，部署和监视生产中的代码。

换句话说，不存在端到端工具平台。相反，有一组工具专注于软件工程生命周期的特定部分。

图片作者

为了简化软件的创建，必须创建工具来跟踪问题，管理版本历史记录，监督构建以及在生产中出现问题时提供监视和警报。

尽管并非每种工具都明确地适合其中一个类别，但是这些工具类别中的每一个都代表了创建软件过程中的一个明显摩擦点，因此需要创建工具。

我以为这与机器学习有关？

就像软件开发过程一样，机器学习模型的开发过程具有广泛的类别，这些类别与研究，构建，部署和监视模型所需的内容保持一致。

在本篇文章中，我们将重点介绍在解决实验室外应用机器学习的一些最大障碍的过程中出现的基本ML工具类别。

要创建有效的机器学习工具箱，您实际上仅需要以下三个基本工具：

  1. Feature Store：处理离线和在线功能转换
  2. Model Store：充当中央模型注册中心并跟踪实验
  3. Evaluation Store：监视和改善模型性能
图片作者

Feature Store

首先，让我们深入研究Feature Store。要定义功能库是什么，让我们从功能库应为您的团队启用的功能开始。

功能存储应启用的功能：

  1. 用作特征转换的主要来源
  2. 允许在离线培训和在线服务中使用相同的功能转换
  3. 使团队成员可以共享他们的转换以进行实验
  4. 为功能转换代码提供强大的版本控制

除了功能部件商店应如何赋予您的团队权力外，这里还列出了一些必备功能，这些功能可以帮助您确定哪个功能部件商店最适合您和您的团队。

功能商店应具备的功能：

  1. 与您的数据存储/湖集成
  2. 为模型在线部署提供特征转换的快速方法
  3. 快速轻松地将功能转换代码部署到生产中
  4. 与您的评估商店集成，以进行数据和功能质量检查

推荐：

构造子

Model Store

现在您已经拥有一个存储特征转换的特征存储，现在需要一个可以对团队模型创建历史进行分类和跟踪的工具。这就是Model Store发挥作用的地方。

模型存储应启用的功能：

  1. 充当所有模型和模型版本的中央存储库
  2. 允许每个模型版本的重现性
  3. 追踪模型历史沿袭

在这些核心功能之外，还有许多模型存储功能，您可能会发现它们对构建和部署模型非常有帮助。

f1“>您的模型商店应具备的功能：

  1. 应该能够跟踪模型的每个版本，git提交，模型的工件（修补文件）的引用数据集
  2. 应该提供要服务的任何模型的最新版本，例如（v2.1）
  3. 保持一致的血统以在需要时回滚版本
  4. 与您的评估商店集成，以跟踪每个版本的模型的评估以查明模型回归
  5. 与您的服务基础架构集成，以促进模型部署和回滚

推荐：

权重和偏向/ MLFlow

Evaluation Store

现在，您已经跟踪了模型并将其存储在模型存储中，您需要能够选择一个模型以进行发货并监视其在生产中的性能。这是评估商店可以提供帮助的地方。

评估存储应启用的功能：

  1. 在任何环境，生产，验证，培训中汇总任何模型的汇总（或切片）性能指标
  2. 使用基准监控和识别漂移，数据质量问题或异常性能下降
  3. 使团队能够将绩效变化与发生变化的原因联系起来
  4. 提供一个平台来帮助不断提供高质量和反馈回路的模型，以进行改进-将生产与培训进行比较
  5. 为A / B测试模型版本提供实验平台

现在，我们将注意力转移到评估商店的必备功能上，以下几点使一个特殊的评估商店值得考虑。

您的评估商店应具备的功能：

  1. 存储模型评估：跨环境的每个模型版本的输入，SHAP值和输出：生产，验证和培训
  2. 自动化监控可轻松发现问题-基于评估存储库得出的基准
  3. 灵活的仪表板创建，可用于任何类型的性能分析— DataDog for ML
  4. 与您的功能存储集成，以跟踪功能漂移
  5. 与您的模型库集成，以具有每个模型版本的模型性能的历史记录

推荐：

阿里兹

可能适合您的其他工具

数据注释平台：

让我们退后一步，说您刚刚收集了数据，其中可能有也可能没有地面真相标签。现代统计机器学习模型通常需要大量的训练数据才能表现良好，而使用地面真相标签注释足够的数据以使模型有效的能力可能是一个很大的挑战。

不用担心，数据注释平台会将您的数据批次分发到一组分布式的评分器，每个评分器将根据您提供的说明为您的数据添加标签。

推荐：

  1. 阿彭
  2. 可扩展为全自动数据注释服务

模型服务平台：

在许多应用了机器学习的情况下，您将需要某种形式的服务平台才能将模型部署到用户。简要地说，这是服务平台应为您的团队提供的一些核心功能。

模型服务平台应实现以下功能：

  1. 围绕模型服务的访问控制，只有一部分人有权更改部署的模型。
  2. 如果需要，可以快速回滚到以前部署的模型版本的机制
  3. 灵活支持不同的ML应用程序类型。例如，在预测延迟不成问题的情况下，您的服务平台应允许批处理推理以针对计算进行优化
  4. 与模型商店很好地集成，以方便模型推广
  5. 与评估库很好地集成，以实现生产中模型的可观察性。

推荐：

Kubeflow和算法