本文轉自《On-Device AI — What I know so far》
原文是英文，全文由機器翻譯，不影響整體理解，不用在意翻譯細節。
我們正處在人工智慧應用加速發展的曙光中。這些應用程序中AI演算法中的處理任務在基於雲的基礎架構或設備上進行。除了基於雲的方法外，由於增加的隱私性，低延遲，增強的可靠性和許多其他優勢，當今的設備上方法正變得越來越流行。
什麼是設備上推斷？
設備上的推論是使預解碼的過程我用一個訓練有素的模型，該模型將在設備上運行ctions。與基於雲的範例相比，設備上的推理因其較低的延遲和更高的隱私性而變得越來越流行。但是，由於缺乏計算能力和能耗，在小型設備上執行此類計算密集型任務可能會更加困難。
什麼是設備上的培訓？
答案就在問題中！😂在設備上訓練模型。再次，就像設備上的推斷一樣，使用設備上訓練的主要挑戰是此類設備的計算能力限制和能耗。但是，設備上的培訓具有更多優勢。您的模型可以從用戶數據中學習。由於模型在設備上運行，因此可以輕鬆獲得用戶的行為。除此之外，它可以針對該用戶進行個性化設置。由於培訓是在設備中進行的，因此無需將這些數據上傳到雲。因此，它保證了數據的私密性。此外，無需託管伺服器來訓練模型，因此也可以節省您的錢。
在本文中，我指出了一些有用的和流行的資源，這些資源是我在互聯網上發現的與設備上AI相關的新手的。我將保持本文的更新。如果您知道缺少信息，請發表評論，以便我更新此列表。😁
在移動設備上進行訓練/推斷的移動應用程序
以下是一些流行的移動應用程序/功能，可在您的移動設備上進行設備上的推斷和培訓。
01）「 Hey Siri」功能-您可以在本文中找到「 Hey Siri」的工作方式。
02）像素電話上的「正在播放」功能可識別正在播放的音樂-您可以在此處找到與該研究相關的研究論文
03）iPhone上的Face ID技術-要了解其工作原理，請參閱本文
04）The Photos蘋果設備上的應用程序處理圖像，識別面部和位置在設備上的行為—參考
構架
Tensorflow Lite— Tensorflow Lite是一個開源深度學習框架，支持設備上的推理。TensorFlow Lite當前不支持設備上培訓。要在應用程序上使用Tensorflow Lite，首先必須使用TensorFlow Lite Converter將Tensorflow模型轉換為壓縮平面緩衝區。它將創建一個.tflite文件。之後，您可以將其載入到移動或嵌入式設備中，並使用TensorFlow Lite解釋器在設備上運行模型。
PyTorch Mobile—當前，PyTorch Mobile處於測試版。與Tensorflow Lite不同，它不需要將現有的機器學習模型轉換為中間文件格式。Googl e的ML Kit-ML Kit是一個移動SDK，當前處於Beta版。
您可以使用此鏈接加入ML Kit的搶先體驗計劃。Apple的Core ML — Core ML的一項很酷的功能是，您可以使用Core ML轉換器將模型從其他機器學習庫（如TensorFlow和PyTorch）轉換為Core ML。Microsoft的嵌入式學習庫（ELL） — EEL主要用於資源受限的平台和小型單板計算機，例如Raspberry Pi。華為的ML套件-ML套件提供了設備上API和雲API。Samsung Neural SDK -Samsung Neural SDK提供的API使開發人員可以輕鬆地部署設備上的預訓練或自定義神經網路。它旨在僅在Samsung設備上運行。
支持設備上AI的處理器
到目前為止，我在本文中討論的內容是關於設備推斷和培訓的簡短介紹以及一些受歡迎的示例。我學到一些新東西後，我將再次在這裡。🤗
1 Comment
謝謝