Blog

好文分享

Google新技術幫助我們了解神經網路的思維方式

可解釋性仍然是現代深度學習應用的最大挑戰之一。計算模型和深度學習研究的最新進展使得能夠創建高度複雜的模型，其中包括數千個隱藏層和數千萬個神經元。雖然創建令人難以置信的高級深度神經網路模型相對簡單，但了解這些模型如何創建和使用知識仍然是一個挑戰。最近，Google Brain團隊的研究人員發表了一篇論文，提出了一種名為概念激活向量（CAV）的新方法，它為深度學習模型的可解釋性提供了一個新的視角。

可解釋性與準確性

要理解CAV技術，了解深度學習模型中可解釋性挑戰的本質非常重要。在當前一代深度學習技術中，模型的準確性與我們解釋其知識的能力之間存在著永久的摩擦。可解釋性 – 準確性摩擦是能夠完成複雜知識任務和理解這些任務是如何完成之間的摩擦。知識與控制，績效與責任，效率與簡單……選擇你最喜歡的困境，所有這些都可以通過平衡準確性和可解釋性之間的權衡來解釋。

您是否關心獲得最佳結果，或者您是否關心如何產生這些結果？這是數據科學家在每個深度學習場景中都需要回答的問題。許多深度學習技術本質上是複雜的，雖然它們在許多場景中都非常準確，但它們的解釋卻非常難以理解。如果我們可以在一個與準確性和可解釋性相關的圖表中繪製一些最著名的深度學習模型，我們將獲得如下內容：

深度學習模型中的可解釋性不是一個單一的概念，可以跨多個層次看到：

實現上圖中定義的每個層的可解釋性需要幾個基本構建塊。在最近的一篇論文中，谷歌的研究人員概述了他們認為可解釋性的一些基本構建塊。

Google總結了可解釋性原則如下：

– 了解隱藏層的作用：深層學習模型中的大部分知識都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對於解釋深度學習模型至關重要。

– 了解節點的激活方式：可解釋性的關鍵不在於理解網路中各個神經元的功能，而是在同一空間位置一起激發的互連神經元群。通過互連神經元組對網路進行分段將提供更簡單的抽象級別來理解其功能。

– 理解概念是如何形成的：了解神經網路形成的深度，然後可以組合成最終輸出的個體概念是可解釋性的另一個關鍵構建塊。

這些原則是Google新CAV技術背後的理論基礎。

概念激活向量

遵循上一節中討論的想法，可解釋性的自然方法應該是根據它所考慮的輸入特徵來描述深度學習模型的預測。一個典型的例子是邏輯回歸分類器，其中係數權重通常被解釋為每個特徵的重要性。然而，大多數深度學習模型對諸如像素值之類的特徵進行操作，這些特徵與人類容易理解的高級概念不對應。此外，模型的內部值（例如，神經激活）似乎是不可理解的。雖然諸如顯著圖之類的技術在測量特定像素區域的重要性方面是有效的，但是它們無法與更高級別的概念相關聯。

CAV背後的核心思想是衡量概念在模型輸出中的相關性。概念的CAV只是該概念的一組示例的值（例如，激活）方向上的向量。在他們的論文中，Google研究團隊概述了一種名為Testing with CAV（TCAV）的新線性可解釋方法，該方法使用方嚮導數來量化模型預測對CAV學習的基礎高級概念的敏感性。從概念上講，TCAV的定義有四個目標：

– 可訪問性：用戶幾乎不需要ML專業知識。

– 定製：適應任何概念（例如，性別），並不限於培訓期間考慮的概念。

– 插件就緒：無需重新訓練或修改ML型號即可工作。

– 全局量化：可以使用單一定量度量來解釋整個類或一組示例，而不僅僅是解釋單個數據輸入。

為實現上述目標，TCAV方法分為三個基本步驟：

1）為模型定義相關概念。

2）理解預測對這些概念的敏感性。

3）推斷每個概念對每個模型預測類的相對重要性的全局定量解釋。

TCAV方法的第一步是定義感興趣的概念（CAV）。TCAV通過選擇一組代表該概念的示例或找到標記為概念的獨立數據集來實現此目的。通過訓練線性分類器來學習CAV，以區分概念的示例和任何層中的示例所產生的激活。

第二步是生成一個TCAV分數，用於量化預測對特定概念的敏感性。TCAV通過使用方向性導數來實現這一點，該方嚮導數用于衡量ML預測對神經激活層的概念方向輸入變化的敏感性。

最後一步嘗試評估學習CAV的全局相關性，以避免依賴不相關的CAV。畢竟，TCAV技術的一個缺陷是有可能學習無意義的CAV。畢竟，使用隨機選擇的一組圖像仍然會產生CAV。基於這種隨機概念的測試不太可能有意義。為了應對這一挑戰，TCAV引入了統計顯著性檢驗，該檢驗針對隨機數量的訓練運行（通常為500次）評估CAV。該想法是，有意義的概念應該導致TCAV分數在訓練運行中表現一致。

TCAV在行動

與其他可解釋性方法相比，Google Brain團隊進行了多次實驗來評估TCAV的效率。在一項最引人注目的測試中，該團隊使用了一個顯著圖，試圖預測標題或圖像的相關性，以了解計程車的概念。顯著性圖的輸出如下所示：

使用這些圖像作為測試數據集，Google Brain團隊在Amazon Mechanical Turk上使用50人進行了實驗。每個工作人員執行一系列六個任務（3個對象類x 2s效率圖類型），所有這些任務都針對單個模型。任務順序是隨機的。在每項任務中，工作人員首先看到四個圖像及其相應的顯著性面具。然後，他們評估了他們認為圖像對模型的重要程度（10分制），標題對模型的重要程度（10分制），以及他們對答案的自信程度（5分制）。總共，特種飛行員評定了60個獨特的圖像（120個獨特的顯著圖）。

實驗的基本事實是圖像概念比標題概念更相關。然而，當觀察顯著性圖時，人們認為標題概念更重要（具有0％雜訊的模型），或者沒有辨別出差異（具有100％雜訊的模型）。相比之下，TCAV結果正確地表明圖像概念更重要。

TCAV是過去幾年中最具創新性的神經網路解釋方法之一。初始技術的代碼可以在GitHub上獲得，我們應該期望看到一些主流深度學習框架適應的想法。

本文轉自towardsdatascience，原文地址

好文分享

管理AI產品的基本指南

在這篇文章中，當我使用術語AI產品管理（APM）時，我的意思是包括AI和ML（技術上更準確）。我相信AI PM是一個關鍵角色，需要特定的技能，判斷力和經驗，這對AI產品和計劃的成功至關重要。

作為APM的成功實踐和AP Meetup的組織者，我想分享我遇到的有用資源，最佳實踐和技巧，並從我的經驗中學習。這裡的原則和提示對項目經理，軟體經理以及您為技術團隊做出決策的任何角色都很有用。我不會花時間談論人工智慧的基礎知識，因為我認為你已經擁有了這個背景。但是，如果您想了解ML或者您想了解更多有關PM角色的信息，最後會有參考文獻。

產品管理的角色/名稱是相對較新的 – 我會說〜25年。AI產品管理專註於使用AI，深度學習和/或機器學習來增強，改進，創建和塑造產品。AI產品管理（APM）當然是最近的一個角色。

AI產品經理是互聯網產品經理的子集
AI產品經理是互聯網產品經理的子集

最近對全球商業領袖的一項調查顯示，70％的人已開始實施人工智慧計劃 隨著人工智慧在業務中的激增，很容易看到B2C和B2B產品和服務的應用：Google Search / Photos / Translate，Alexa，Amazon Recommendations，Stitch Fix。Nest，特斯拉自動駕駛儀。機器學習（和數據）是所有這些中的共同點。當然，還有更多的產品由幕後的ML提供支持。

如果人工智慧正確的組織與那些正在努力採用人工智慧的組織（這是大多數人）之間仍存在巨大的差距。我的POV是APM在AI計劃的成功中發揮關鍵作用。正如Marty Cagan所說，每一件成功的產品背後都是負責其成功的產品經理。

每一個偉大的人工智慧產品背後都是產品經理或領導者，他們領導了這一願景，幫助了數據，促進了技術團隊的工作，傾聽了客戶的意見，同情並推動了業務指標所帶領的採用和增長。

讓我們從賭桌開始吧。出色的AI產品管理和領導力（是的，這是兩個不同的層次！）應包括技術產品管理和領導力的原則和最佳實踐。

AI產品經理角色
AI產品經理角色

對於維恩圖中的每個圓圈，您都有特定的要求，例如，用戶/客戶體驗對於所有數字產品都很重要，但對於B2B AI / ML產品可能有所不同。

正如這篇HBR文章指出的那樣，所謂的「數據產品」的生命周期反映了標準產品開發：識別解決核心用戶需求的機會，構建初始版本，影響迭代。當然，APM還有很多，因為除了數據的複雜性之外，您還必須處理AI模型和流程的複雜和迭代性質。本文建議跨數據協作和評估以及數據產品機會的優先順序，並著眼於長期目標。

「 這裡缺乏為企業構建AI應用程序的產品經理的既定工作流程」 – Andrew Ng

APM的基本技能和品質是什麼？

＃1堅實的數據和建模技術 – 應具備實踐經驗或數據和模型的工作知識

＃2通信 – 產品經理是「將不同語言的公司的所有各種功能和角色結合在一起的粘合劑」 – Ken Norton，GV

「PM的工作不僅僅是硬技能，還包括其他技能 – 說服，談判，講故事，視覺設置和溝通。」 – 匿名

＃3完成任務：挑戰，促進和交付 – 例如，APM的關鍵任務之一是創建捕獲產品屬性的特殊測試集。

「優秀的產品經理清晰地定義目標，」什麼「（而不是如何）並管理」什麼「的交付。 – Ben Horowitz Link

AI產品管理的 3 個階段

考慮任何產品的三個關鍵階段以及涉及AI / ML時它如何變化。

1）成立：決定做什麼？為什麼？結合數據，分析和判斷。問正確的問題。有足夠的深度來過濾噪音並專註於有價值的POC，而不是科學實驗或沒有數據或擴展可能性的商業夢想。POC變得更加重要 – 必須與組織的現實相匹配。

產品經理的工作是發現/創造一種有價值，可用且可行的產品–Marty Cagan

說ML不是一個好的候選人（製作清單）。或者決定使用多少ML與其他方法，如規則等。對於所有其他方法，優先管理和管理管道！

不使用AI時的示例：

  • 請參閱此視頻，其中列出了一些常見方案，例如：何時需要100％準確度，何時沒有足夠數據，何時沒有質量數據等。注意偏向數據或用例可能歧視針對某一群體等
  • WSJ最近的一篇文章指出了亞馬遜使用機器學習將某些產品標記為「亞馬遜選擇」的方式存在缺陷。

「亞馬遜的選擇」 不是質量保證。亞馬遜不測試這些產品; 它使用一種考慮各種因素的演算法為它們加冠，包括流行度，運輸速度，價格等。專家說，賣家已經開始找出操縱演算法的方法。

2）發展：組織結構很重要。理解和協調組織結構，角色 – 利弊。數據素養，領域深度和極客信譽都很重要。在不同的階段讓正確的中小企業參與其中，APM是將所有AI元素保持在一起的粘合劑！改善的速度和頻率很重要！敏捷，聰明。的POC。系列MVP：輕量級模型，購買/借用數據

3）商業化：您將如何生產產品？你有合適的人，流程和工具嗎？您將如何持續監控性能並改進產品？

AI PM的關鍵要點：

  1. 相信數據的不合理有效性（以及關鍵重要性）。確保您擁有正確用途的正確數據。投資獲取和維護戰略數據集 – 它們通常是競爭差異化的源泉，而不是模型。正如Andrew Ng所說：數據集是新的（AI）線框！

PM的工作是創建捕獲產品屬性的特殊測試集 – （來自Lex Fridman的AI Podcast與Spotify產品經理）

  1. 做一個有效的翻譯 – 一方面是技術深度（Sisk稱之為Nerd Cred），另一方面你需要簡化並刪除行話 – 圖＃2 Atlas。目前的AI / ML浪潮相對較新，受到炒作，快節奏變化，高質量人才的瓶頸以及由於眾多供應商和工具匆匆而引起的混亂。成為能夠跨越技術業務的領導者，ML- IT，財務 – 所有其他人的差距！
  2. 管理期望和利益相關者。AI產品的不確定性很高。失敗的可能性高於普通的軟體項目） – 需要付出努力才能真正了解模型的優秀程度。永遠記住要考慮利益相關者並記住關鍵問題：它們對它們有什麼影響？系列MVP：輕量級模型，購買/借用數據，縮小域名，手=策展
  3. 對客戶/用戶的同情 – 以同理心看待隱私 – 探索差異隱私等新解決方案 – 採用什麼？用戶/以人為中心的錯誤測量框架
  4. 降低風險並增加信任 – 一些組織可能有專門的工作人員來承擔風險，但大多數組織都沒有。作為APM，您是偏見，公平和隱私問題的前門守護者。APM也應該推動可解釋性。確保您對產品的信任！
  5. 謹慎傳播 – 演算法的智能性與它帶來的智能價值，你將如何衡量它，例如誤報。你如何衡量價值？它將如何改變行為？想想前面幾步 – 例如會刷太多？
  6. 工藝/生命周期/設計很重要，工程師KAIZEN從一開始就是如此。確定關鍵業務指標（KPI）以及它們如何轉化為建模指標。遵循敏捷開發（尤其適用於基於AI的產品和系統，非常重要），讓用戶在開發周期的早期階段通過與用戶分享實時反饋來幫助測試，改進和改進產品中的AI功能。開發團隊。對於AI驅動的應用程序，測試過程必須從根本上改變。優化演算法要求許多用戶對其進行測試，以確保它們適用於多種不同的場景。「
PM在數據和建模中的作用 - 信用
PM在數據和建模中的作用 – 信用

除了主要內容之外，還有一些我從不同來源和我自己的經驗中收集的提示和建議。以下是APM的一些提示和建議：

  • 您需要一種不同的人工智慧戰略和規劃方法 – 更多的前期工作和數據探索，以識別和審查機會（需要數據探索）
  • 不要低估共同願景，理解和有效溝通的重要性。當多個團隊協調工作（減少摩擦），發展共同理解並通過不同的亞文化工作時，AI計劃最有效。將不同的角色聚集在一起，互相學習，讓數據技術人員充當「福音傳道者」……提供原始訪問
  • 太多的數據可能會讓人不堪重負並使主動性看起來過於複雜 – 顯示而不是告訴 – 數據產品有自己獨特的曲折 – 數據管理和治理已經存在了一段時間，但必須處理遺留資產以及3V的新數據
  • 正在進行的周期 – 產品將如何隨著時間推移？上或下？誰正在監控正在收集的數據並將其貨幣化？如何隨著時間的推移改善事物？例如：結果數據。評價？產品以何種速度從數據收集中有機地改進？如今，具有令人興奮的指標的產品可能值得保留。迭代的速度和性質 – 從哪裡來？用戶反饋？自動？您將如何測試和部署模型的變體？
  • 產品領導說明 – 風格，產品階段，公司，產品環境，構建良好的團隊 – 管理，流程，上下文切換（從10K英尺視圖到2英寸視圖來回）

最後的想法：

「成功取決於公司培養」強大的數字骨幹「的能力，」將技術和人才融入業務流程的成熟能力，以及靠近用戶和市場的持續學習。「 – Irving Berger，WSJ

注釋和參考：

==關於管理者ML的資源==

** Gen PM資源**

本文轉自medium，原文地址