本文轉自公眾號 AI科技評論，原文地址

快手 APP 是一款面向普通人記錄和分享生活的短視頻社交平台，據了解，在 2018 年，快手的日活一直在穩步增長。截至 2018 年 12 月，快手擁有超過 1.6 億日活用戶，3 億月活用戶，每日上傳短視頻超過 1500 萬條。

擁有如此龐大的用戶數，快手上每天都會產生很多有意思的內容。快手的流量並不會傾向於紅人，不進行流量傾斜，每個視頻都有曝光的機會，因此，很多用戶都比較「接地氣」。為了降低拍攝視頻的門檻，輔助這些「接地氣」的用戶更好地進行內容生產，快手 APP 上使用了大量的 AI 技術。

目前，快手上的特效有美妝裝飾特效、跳舞機遊戲、控雨特效、AR 特效、染髮特效、背景替換和魔法表情等。這些特效用到了人臉關鍵點、人體關鍵點識別、手勢識別、視覺慣性里程計、頭髮分割、背景分割等人工智慧技術。

在這些特效裡面，「萌面 Kmoji」魔法表情是一個非常有意思的玩法，它於去年 12 月底上線。通過該功能，用戶能夠用相機拍攝生成自己的專屬臉部 AR 虛擬形象，同時可以捕捉用戶表情，眨眼、張嘴、抬眉毛、吐舌頭等細微動作都能精準還原。這是短視頻平台首次實現用戶自定義 AR 虛擬形象進行拍攝的玩法。

那麼，「萌面 Kmoji」魔法表情背後用到了哪些 AI 技術？快手團隊與我們分享了他們的技術方案。

萌面 Kmoji 背後的人工智慧技術方案詳解

基於 3D 分析和 2D 信息融合的人臉屬性和表情識別

個性化萌面系統的實現基礎是人臉屬性和表情識別，這需要 3D 分析以及與 2D 信息的融合。

對於圖像信息，快手技術團隊會利用 3D 重建技術恢復出 3D 結構，同時和 2D 信息做有機的融合，並基於這些重建、分析和融合，做人臉屬性的分析，從各個維度分析出人臉特徵，生成個性化的虛擬形象。同時也會實時進行人臉的表情分析，用於驅動生成的虛擬形象。

在此基礎之上，快手技術團隊還會藉助人體進行相關分析，比如頭髮，肩部等，為和現實場景融合打下基礎，並通過自研的手機端真實感渲染引擎，將活動的個性化萌面實時呈現給用戶。

3D 人臉重建

3D 人臉重建是整個系統中非常重要的一環。快手技術團隊採集了上萬人臉三維數據，包含各種年齡段，人種，臉型等，以及每個個體對應的人臉各種表情，從而建立了幾乎涵蓋所有人臉空間和表情空間的三維人臉資料庫。通過該資料庫，可以建模出任意人臉的任意表情。快手技術團隊研發了人臉關鍵點技術，通過百餘個關鍵點刻畫人臉的表情變化，從而重建每個個體各種表情下的三維人臉。另一方面，通過高效的神經網路技術，保證 3D 人臉重建在性能較低的手機上也能實時運行。

人臉屬性感知

在人臉屬性感知方面，快手技術團隊採用神經網路感知人臉細粒度屬性，包含了性別，年齡，膚色，臉型，眼睛，嘴巴細粒度信息，相比同類產品，可做到自動的人臉定製化，同時利用海量人臉數據，多任務協同學習，捕捉人臉細微特徵。細粒度屬性的區分是非常困難的，有些問題即使是人眼本身都難以區分，為此快手技術團隊做了很多精細的設計，融合了分類/回歸/分割等技術，提高自動捏臉的準確度

人臉表情識別

人臉表情是一種複雜且細微的信息，人對錶情的感知尤其靈敏。讓機器識別細微/誇張/靈活/穩定的人臉表情信號，單靠圖像信息是難以達到的。

快手技術團隊通過 2D 的 RGB 視覺信息對問題進行建模、求解，獲得人臉關鍵點以及實時重建的三維模型，並把 1D、2D 和 3D 三種不同模態的信息進行建模對齊，求解出人臉的表情，驅動虛擬形象做各種逼真的動作。同時，得益於深度神經網路模型的量化，通過壓縮和加速解決手機性能問題，該方案可適配任意機型。

高質量渲染

萌面效果的最終呈現離不開渲染，為了獲得高質量的渲染，快手技術團隊採用了先進的 PBR 技術，在移動端實現了 PC 遊戲級畫質；同時，依託深厚的 AI 技術積累，萌面能夠根據外部環境和用戶的形象特徵智能化地選擇最適合用戶的材質，達到最優的渲染效果。

為了獲得更加真實的體驗效果，快手技術團隊引入了物理引擎實現頭髮、布料等柔體的運動效果。為了使用戶獲得最優的體驗，渲染引擎會根據不同機型選擇合適的渲染質量。

移動端預測模型優化

為了讓 AI 模型在手機端能夠流暢地運行，快手技術團隊主要做了三方面的優化：

  1. 首先，在圖像預處理環節，將圖像各種預處理操作合併起來，並對預處理所涉及到的圖像內存進行統一分配和回收，以減少內存資源的消耗，提高分配使用的效率；
  2. 其次，充分利用 NEON 加速以及蘋果自帶的 accelerate 加速，使得整個運行庫只佔用 2M 的空間；
  3. 最後，在保證預測精度的前提下，對 AI 模型進行局部的 INT8 量化，經過優化後，運行速度可提高 1 倍以上，同時 AI 預測模型的佔用空間也壓縮到將近原來的四分之一。

以上就是「萌面 Kmoji」魔法表情使用的 AI 技術。除了虛擬形象之外，基於萌面所使用的這套系統，快手技術團體還進行了擴展應用：「人像 3D 打光」、「世界上另一個你」。雷鋒網認為，「世界上另一個你」這個功能特別有創意，通過分析用戶的臉部數據，找出快手用戶中哪些人長相和當前用戶非常像。在快手總部，雷鋒網編輯現場體驗了一下，找出來的人在長相上和本人在五官、髮型和臉型等方面極其相似，甚至就是「世界上另一個我」。期待快手在 AI 技術上繼續發力，為我們創造出更多好玩的功能。