本文转自《On-Device AI — What I know so far》
原文是英文，全文由机器翻译，不影响整体理解，不用在意翻译细节。
我们正处在人工智能应用加速发展的曙光中。这些应用程序中AI算法中的处理任务在基于云的基础架构或设备上进行。除了基于云的方法外，由于增加的隐私性，低延迟，增强的可靠性和许多其他优势，当今的设备上方法正变得越来越流行。
什么是设备上推断？
设备上的推论是使预解码的过程我用一个训练有素的模型，该模型将在设备上运行ctions。与基于云的范例相比，设备上的推理因其较低的延迟和更高的隐私性而变得越来越流行。但是，由于缺乏计算能力和能耗，在小型设备上执行此类计算密集型任务可能会更加困难。
什么是设备上的培训？
答案就在问题中！😂在设备上训练模型。再次，就像设备上的推断一样，使用设备上训练的主要挑战是此类设备的计算能力限制和能耗。但是，设备上的培训具有更多优势。您的模型可以从用户数据中学习。由于模型在设备上运行，因此可以轻松获得用户的行为。除此之外，它可以针对该用户进行个性化设置。由于培训是在设备中进行的，因此无需将这些数据上传到云。因此，它保证了数据的私密性。此外，无需托管服务器来训练模型，因此也可以节省您的钱。
在本文中，我指出了一些有用的和流行的资源，这些资源是我在互联网上发现的与设备上AI相关的新手的。我将保持本文的更新。如果您知道缺少信息，请发表评论，以便我更新此列表。😁
在移动设备上进行训练/推断的移动应用程序
以下是一些流行的移动应用程序/功能，可在您的移动设备上进行设备上的推断和培训。
01）“ Hey Siri”功能-您可以在本文中找到“ Hey Siri”的工作方式。
02）像素电话上的“正在播放”功能可识别正在播放的音乐-您可以在此处找到与该研究相关的研究论文
03）iPhone上的Face ID技术-要了解其工作原理，请参阅本文
04）The Photos苹果设备上的应用程序处理图像，识别面部和位置在设备上的行为—参考
构架
Tensorflow Lite— Tensorflow Lite是一个开源深度学习框架，支持设备上的推理。TensorFlow Lite当前不支持设备上培训。要在应用程序上使用Tensorflow Lite，首先必须使用TensorFlow Lite Converter将Tensorflow模型转换为压缩平面缓冲区。它将创建一个.tflite文件。之后，您可以将其加载到移动或嵌入式设备中，并使用TensorFlow Lite解释器在设备上运行模型。
PyTorch Mobile—当前，PyTorch Mobile处于测试版。与Tensorflow Lite不同，它不需要将现有的机器学习模型转换为中间文件格式。Googl e的ML Kit-ML Kit是一个移动SDK，当前处于Beta版。
您可以使用此链接加入ML Kit的抢先体验计划。Apple的Core ML — Core ML的一项很酷的功能是，您可以使用Core ML转换器将模型从其他机器学习库（如TensorFlow和PyTorch）转换为Core ML。Microsoft的嵌入式学习库（ELL） — EEL主要用于资源受限的平台和小型单板计算机，例如Raspberry Pi。华为的ML套件-ML套件提供了设备上API和云API。Samsung Neural SDK -Samsung Neural SDK提供的API使开发人员可以轻松地部署设备上的预训练或自定义神经网络。它旨在仅在Samsung设备上运行。
支持设备上AI的处理器
到目前为止，我在本文中讨论的内容是关于设备推断和培训的简短介绍以及一些受欢迎的示例。我学到一些新东西后，我将再次在这里。🤗