本文轉自《Less Algorithm, More Application: Lyft』s Craig Martell》
全文由機器翻譯，質量不夠好，但不影響整體理解
萊夫特（Cyig Martell）
克雷格·馬爹利（Craig Martell）是Lyft的機器學習負責人，也是西雅圖東北大學Align計劃的機器學習兼職教授。在加入Lyft之前，他是Dropbox的機器智能主管，領導了LinkedIn的許多AI團隊和計劃，並且是加利福尼亞蒙特雷的海軍研究生院的終身教授。Martell擁有博士學位。擁有賓夕法尼亞大學計算機科學博士學位，並且是《計算機偉大原理》（麻省理工學院出版社，2015年）的合著者。
您的評論對於Me，Myself和AI的成功至關重要。在限定時間內，我們將向觀看該節目的聽眾免費下載麻省理工學院SMR關於人工智慧的最佳文章。將您的評論的屏幕截圖發送至smrfeedback@mit.edu以接收下載。
我們從《我，我自己和人工智慧》的第二季開始，討論Craig在AI和機器學習領域所看到的特定趨勢：隨著組織越來越依賴於技術驅動的解決方案來解決業務問題，演算法本身比其適用性更重要納入整體工程產品管道和產品開發路線圖。克雷格（Craig）分享了他的想法，即這種轉變對組織中的學術教育和跨職能協作意味著什麼，主持人對如何消除無意識的偏見深思熟慮。
在https://sloanreview.mit.edu/aipodcast上閱讀有關我們節目的更多信息，並關注該系列節目。
要了解有關電影《編碼的偏見》的更多信息，克雷格在採訪中提到該電影，請訪問www.codedbias.com。要了解有關MIT媒體實驗室研究員Joy Buolamwini的工作的更多信息，請訪問她在實驗室網站上的頁面。
在Apple Podcast，Spotify或Google Podcast上訂閱「我，我自己和AI 」 。
成績單
Sam Ransbotham：演算法變得越來越不重要了嗎？隨著演算法的日趨商品化，演算法可能會越來越少，而應用程序則越來越多。在《我，我自己和人工智慧》第二季的第一集中，我們將與Lyft機器學習負責人Craig Martell談談Lyft如何利用人工智慧來改善其業務。
歡迎來到「我，我自己和AI」，這是有關業務中人工智慧的播客。在每一集中，我們都會向您介紹使用AI進行創新的人。我是波士頓學院信息系統教授Sam Ransbotham。我還是《麻省理工學院斯隆管理評論》（MIT Sloan Management Review）的AI和業務戰略大創意計劃的客座編輯。
Shervin Khodabandeh：我是BCG的高級合伙人Shervin Khodabandeh，我是BCG在北美的AI實踐的聯合負責人。麻省理工學院SMR和BCG在一起進行了五年的研究，採訪了數百名從業人員，並對數千家公司進行了調查，以了解構建，部署和擴展AI功能以及真正改變組織運作方式所需的條件。
Sam Ransbotham：今天我們要與Craig Martell談談。Craig是Lyft機器學習的負責人。感謝您今天加入我們，克雷格（Craig）。
克雷格·馬爹利（Craig Martell）：謝謝，山姆。我很高興來到這裡。這些都是令人興奮的話題。
Sam Ransbotham：那麼Lyft機器學習負責人Craig –究竟是什麼意思，您是如何到達那裡的？
克雷格·馬爹利（Craig Martell）：首先，我很確定自己贏得了彩票，這就是原因：我從學術上開始從事政治理論研究，我有一個pent廢的青年，一路走來收集了碩士學位。弄清楚我想做什麼。因此，我學習了哲學，政治學，政治理論，邏輯……然後最終獲得了博士學位。賓夕法尼亞大學的計算機科學專業。我以為我會做可檢驗的哲學。與之最接近的是AI，所以我只是出於愛而這樣做。我只是發現整個過程，目標和技術，絕對令人著迷。
Sam Ransbotham：您的總體規劃的所有部分都融合在一起了。
克雷格·馬爹利（Craig Martell）：一點也不。我掉進去了。
Sam Ransbotham：那麼，您是如何最終來到Lyft的呢？
克雷格·馬爹利（Craig Martell）：我在LinkedIn呆了大約六年。然後我的妻子在亞馬遜獲得了這份非凡的工作，我想保持婚姻狀態，所以我跟著她去了西雅圖。我在Dropbox工作了一年，然後Lyft與我聯繫。我基本上抓住了這個機會，因為這個空間是如此迷人。我總體上喜歡汽車，這意味著我總體上喜歡交通。改變我們的交通方式的想法只是一個令人著迷的空間。然後，在我前世時，我是一名終身任職的計算機科學教授，這仍然是我的摯愛，因此，我是東北大學的兼職教授，只是為了確保我保持自己的教學技能。
Shervin Khodabandeh： Craig，您在哲學，政治學領域擁有深厚的人文背景，您提到了邏輯-所有這些-在您的整個旅程中，這對您有什麼幫助？
克雷格·馬爹利：因此，這真的很有趣。當我思考什麼是AI時，我發現演算法在數學上很有趣，但是我發現演算法的使用更加有趣。因為從技術角度來看，我們正在發現極高維非線性空間中的相關性。從某種意義上說，它是大規模的統計數據，對吧？我們正在發現A和B之間的這些相關性。這些演算法真的很有趣，我現在仍然在教那些，它們很有趣。但是對我來說更有趣的是，這些相關性對人們意味著什麼？我認為推出的每個AI模型都是一項認知科學測試。我們正在嘗試模擬人類的行為方式。現在，對於自動駕駛，我們正在對汽車在某種意義上的行為進行建模，但實際上，考慮到其他由人駕駛的汽車，我們正在對正確的人類行為進行建模。
Sam Ransbotham：您能談談Lyft如何組織AI和ML團隊嗎？
克雷格·馬爹利（Craig Martell）：在Lyft，我們在整個公司都有模型構建者-我們有一個非常大的科學組織。我們也有所謂的ML SWE-ML軟體工程師。我管理著一個名為LyftML的團隊，它由兩個主要團隊組成。一種叫做「應用機器學習」，我們利用專業知識和機器學習來解決一些非常棘手的問題。還有ML平台，這促使我對獲得ML的卓越運營抱有極大的興趣，以確保它有效地達到了業務指標。
Shervin Khodabandeh：您的想法是-因為我認為Craig，您還在教書，對嗎？
Craig Martell：是的，我是西雅圖東北大學的兼職老師。
Shervin Khodabandeh：那麼您認為您的學生應該問他們不是嗎？或者換一種說法，當他們進入勞動力市場並在現實世界中實際使用AI時，他們會感到最驚訝的是什麼？
Craig Martell：演算法本身正在變得不那麼重要。我不願意使用商品化一詞，但在某種程度上，它們已經被商品化了，對嗎？您可以選擇五分之一，也可以選擇七分之一，針對特定的問題，可以全部嘗試-模型家庭。但是實際發生的事情，或者我認為令人興奮的事情是，這些模型如何適應更大的工程流程，從而使您能夠衡量並保證自己對業務目標的有效性。這與數據的清潔度有關，請確保及時存在數據……經典的工程設計，例如，您是否以適當的延遲返回了功能？因此，實際模型本身已經從問題的85％縮小到問題的15％。現在85％的問題是圍繞它的工程設計和卓越運營。我認為我們正處於一個轉折點。
Shervin Khodabandeh：因此，您相信，隨著AutoML和這些打包工具的出現，以及隨著時間的推移，關於演算法的關注越來越少，有關數據及其使用方式的關注越來越多。…您認為10年後的課程和培訓以及僅僅是數據科學家的總體方向會大不相同嗎？我們應該教給他們不同的東西，不同的技能嗎？因為它曾經是，所以很多精力都集中在創建演算法，嘗試不同的事情上，我想您是在指出這一點處於穩定狀態。對於未來的勞動力意味著什麼？
克雷格·馬爹利（Craig Martell）：是的，我認為那太好了。我要在這裡說些有爭議的事情，我希望不要冒犯任何人。
Shervin Khodabandeh：這就是為什麼我問，所以我希望你會的。
克雷格·馬爹利（Craig Martell）：因此，如果您只是在五年或十年前，為了實現科技公司想要實現的那種價值，您需要大量的博士，對嗎？建立這些演算法的技術能力非常重要。我認為轉折點可能是2013年代的TensorFlow，當時它並未商品化-您仍然需要對演算法進行認真思考-但實際的「走出去」演算法變得很多更輕鬆。現在，有很多框架可以做到這一點。
我想知道-這是一個真正的奇蹟：我想知道學位程度，我們將來需要多少專門的機器學習/ AI數據科學培訓。我認為CS本科生或一般的工程學本科生都將通過兩到三個AI班畢業。還有這兩個或三個AI類，在公司中具有正確的基礎架構，正確的功能收集方式，正確的方法來指定標記的數據……如果我們擁有該ML平台，那麼擁有兩個或三個強類的人將會加入才能交付公司可能需要的70％的模型。現在，對於那30％，我認為您仍然需要一段時間的專家。我願意。我只是認為您不需要像以前那樣需要它，幾乎每個專家都必須擁有博士學位。
Shervin Khodabandeh：是的，Sam，我實際上對此產生了共鳴。以一種有趣的方式，它證實了我們一直在說要真正產生大規模影響所需要的內容，這是到目前為止，技術方面的知識只能帶給您，但是最終，您必須改變其使用方式，並且您必須改變人們的工作方式以及人與AI之間不同的交互方式。我想這是很多人文科學，哲學，政治學以及人類的工作方式-比演算法的工作要重要得多。
Sam Ransbotham：嗯，這也是一個很好的重定向，因為如果我們不小心的話，那段對話會使我們更多地進入DevOps課程，所以Shervin指出的是，當然，這當然也是一個組成部分，但是有流程的變化，還有更多面向業務的計劃。
您還想教別人什麼其他方法？或者，您認為高管還應該知道哪些其他內容？……每個人都不必知道所有事情；這會有點壓倒性的。如果每個人都知道一切，那也許是理想的選擇，但是不同級別的經理到底需要知道什麼呢？
克雷格·馬爹利：我認為，最高決策者需要了解模型出錯的危險，並且他們需要了解整個過程-您確實需要標記的數據。這裡沒有魔術。他們必須了解沒有魔術。因此，他們必須了解標記的數據是昂貴的，正確設置標記並正確採樣所需的世界分布非常重要。我相信他們還必須大致了解生命周期，這與我們將關閉這些吉拉門票的兩周衝刺不同。數據收集非常重要，這可能需要四分之一或兩分之一的時間。而且您發布的第一個模型可能不會很好，因為它來自一個帶有標籤的小型數據集，而現在您正在狂野地收集數據。因此，有一個他們需要了解的生命周期部分，不幸的是，他們需要以很多方式（可能不是用於汽車駕駛，而是出於建議）來理解，您運送的第一對夫婦會逐漸變得更好。我認為這對於高層人員極為重要。
我認為，要降低幾個級別，他們需要了解精度/召回權衡：模型可能產生的錯誤類型。您的模型可能會產生假陰性錯誤或假陽性錯誤，我認為作為擁有這種選擇的產品人員，這非常重要。因此，如果我們在進行文檔搜索，我想您會更在乎誤報。您更關心精度。您希望最重要的事情有意義。對於大多數搜索問題，您不必獲取所有相關信息；您只需要獲取足夠的相關信息即可。因此，如果某些相關的事情稱為不相關，那麼您可以接受，對吧？但是，對於其他問題，您需要獲得一切。
Sam Ransbotham：可以進行文檔搜索。是的，Lyft也是如此。…將其放在您擁有精確度並回想折衷方案的其中一家公司的背景中—誤報，誤報。
Craig Martell：幸運的是，在Lyft，我們有很好的人類逃生艙口，我認為這非常重要。理想情況下，所有這些建議都應具有人工逃生口。因此，如果我為您推薦了一個目的地，而該目的地是錯誤的，那就是-
Sam Ransbotham：可以。
克雷格·馬爹利（Craig Martell）：沒有傷害，沒有犯規-您只需輸入目的地。因此，對於Lyft作為產品，我認為我們很幸運，因為我們的大多數建議-都在嘗試降低摩擦以讓您搭便車-如果我們沒有完全正確地選擇它們，那就可以了。那裡沒有真正的危險。無人駕駛汽車如此艱難，因為您想同時獲得它們。您想知道那是行人，並且還想確保您不會錯過任何行人。
Sam Ransbotham：讓人們陷入困境的想法比僅僅說：「好吧，這裡有一些目的地；還有很多。你喜歡哪個？」
克雷格·馬爹利：對。
Sam Ransbotham：是的。
Shervin Khodabandeh： Craig，您之前曾談到過現實生活中的AI是如何進行大量認知科學實驗的，因為它最終涉及的是-
克雷格·馬爹利（Craig Martell）：至少對我來說。
Shervin Khodabandeh：是的。它提出了無意識偏見的想法。因此，作為人類，我們已經更加意識到我們在所有事物上的潛意識偏見，對嗎？因為，他們已經在幾代人和成見中根深蒂固。
Craig Martell：只是我們過去的經歷，對不對？就像，有偏見的世界會造成有偏見的經歷，即使您有最佳的意圖。
Shervin Khodabandeh：是的-對嗎？因此，我想我的問題是，很明顯，人工智慧存在著意想不到的偏見。您認為我們現在需要考慮什麼，以便從現在起的10到20年內，這種偏見並沒有根深蒂固，以至於AI的工作原理很難糾正。
克雷格·馬爹利（Craig Martell）：已經有。所以問題是，我們該如何正確糾正？首先我要說的是，我是在東北電影公司的這部電影《編碼的偏見》的小組成員中。如果您還沒有看過電影《編碼偏見》，您絕對應該看到它。這是與這位麻省理工學院媒體實驗室的黑人婦女有關的，這個黑人婦女試圖做一個沒有用的項目，因為面部識別對黑人女性根本不起作用。這是一個絕對令人著迷的社會研究。當時的研究人員收集了用於訓練機器學習的數據集（面部識別演算法），當時的研究人員是一群白人男性。這是一個已知問題，對嗎？數據集的收集方式存在偏差。看，所有心理學研究都存在類似的偏差。心理研究不適用於我-我今年56歲。心理學研究適用於大學生，因為這是現成的科目。
因此，由於世界的偏見，這些人隨手可得，因此這就是數據集的產生方式。因此，即使[沒有]惡意，世界還是歪曲了，世界還是有偏見的，數據還是有偏見的；它不適用於許多人。參加培訓的女性不多。然後皮膚越黑，情況就越糟。原因有多種技術原因：深色皮膚的對比度較低，等等，等等，等等。但這不是問題。問題是，我們應該以這種方式收集數據嗎？數據集的目標是什麼？誰是我們的客戶？我們想為誰服務？讓我們以服務客戶的方式對數據進行採樣。
我們之前談到了本科生。我認為那真的很重要。擺脫這種情況的一種方法是工作場所的多樣性。我堅信這一點。然後，您要求每個人（包括所有這些不同的組）測試系統，並查看系統是否適用於他們。當我們在Dropbox進行圖像搜索時，我們詢問了所有員工研究小組：「請搜索過去對您來說有問題的事物，看看我們是否正確。」 如果發現一些錯誤，我們將返回並收集數據以緩解這些問題。因此，請看：您的系統將因所收集的數據而產生偏差-事實上。事實是，它會因收集的數據而有偏差。您想盡最大努力正確收集它。您可能無法正確聚集，因為您有自己的潛意識偏見，正如你指出的。因此，您必須要求所有將成為您的客戶的人嘗試一下，嘗試一下，以確保它做的正確，而在不行的情況下，請回去收集必要的數據以進行修復。因此，我認為簡短的答案是工作場所的多樣性。
Sam Ransbotham： Craig，感謝您今天抽出寶貴時間與我們交談-很多有趣的事情-
克雷格·馬爹利（Craig Martell）：是的，我很高興，這些對話真有趣。我對此很書獃子，所以我非常喜歡。
山姆·蘭斯伯瑟姆（Sam Ransbotham）：您的熱情彰顯出來。
Shervin Khodabandeh：非常有見地的東西。謝謝你。
克雷格·馬爹利：謝謝大家。
Sam Ransbotham：好吧，Shervin，Craig說他在職業生涯中中了彩票，但我認為我們贏得了彩票，是因為他作為我們第二季的第一集的嘉賓。
Shervin Khodabandeh：他提出了很多要點。顯然，隨著時間的流逝，演算法的商品化以及如何將其與戰略聯繫起來，回到關鍵的業務指標，使變化發生，使用變得越來越重要。…我真的很喜歡他的觀點，即從系統中消除偏見需要什麼，以及系統中已經存在偏見的程度。
Sam Ransbotham：商品化尤為重要。我認為這引起了我們的共鳴，因為我們是從業務角度談論這一點的。他的意思是，很多事情將越來越成為業務問題。當是業務問題時，這不是技術問題。我不想打折它的技術方面，當然他肯定會帶來很多技術上的麻煩。但是他確實強調了「現在這是一個業務問題」的方面。
Shervin Khodabandeh：是的，在五分鐘之內，他基本上為我們的最後兩份報告（即2019年和2020年）提供了如此有說服力的論據。
山姆·蘭斯伯瑟姆（Sam Ransbotham）：好的。
Shervin Khodabandeh：與戰略和流程變更以及流程的重新設計和再造有關，與人與AI的交互和採用有關。
薩姆·蘭斯伯瑟姆（Sam Ransbotham）：還有一個商業問題就是管理上的選擇。他也回來了。他在談論……其中有些事情不是明確的決定。您可以選擇哪種方式來犯錯。那是管理問題，而不是技術問題。
Shervin Khodabandeh：而且還要求管理人員知道他們在說什麼，這意味著他們需要真正了解AI在說什麼，它可能在說什麼，它的局限性是什麼，以及可能的藝術是什麼。 。我也非常喜歡這樣的觀點：隨著您與AI的開發人員和構建人員越來越近，您必須真正理解數學和代碼，因為否則您將無法對其進行指導。
Sam Ransbotham：儘管，您不擔心我們只是碰到了每個人都必須了解所有事情的事情嗎？我覺得這很難賣。如果經理必須了解業務以及如何賺錢，他們也必須了解代碼。…我的意思是，讓所有人都了解一切顯然很重要-
Shervin Khodabandeh：嗯，我想問題是，您必須了解所有內容多少？一個好的業務主管已經充分了解了他或她應具備的水平，並提出了正確的問題。我覺得你是對的。但這不是愛因斯坦所說的嗎？除非您能描述一個5歲的孩子，否則您不會真正理解它嗎？您可以用不同的方式向5歲，20歲和研究生描述重力，他們都將理解重力。問題是，至少您了解它，而不是說：「我不知道有引力之類的東西。」
Sam Ransbotham：因此，基本上，教學和學術工作非常重要。那是謝爾文剛才所說的嗎？
Shervin Khodabandeh：我認為經理和高級管理人員需要理解AI本身並不是一個灌籃，因為您提出了正確的問題：正確的理解水平是什麼？那麼，綜合和表達的正確水平是什麼，它使您無需了解所有內容就可以做出正確的決定？但這不是成功的業務主管對每個業務問題的處理嗎？我想這就是我們要說的：使用AI，您需要了解足夠的知識才能進行探究。但是，可以說，這不是黑匣子，就像過去許多技術實現都是黑匣子一樣。
薩姆·蘭斯伯瑟姆（Sam Ransbotham）：這有助於回到整個「學習更多」和「劃清界限」的位置，並有助於理解這種平衡。在討論引力之後，每個人對重力的了解都比以前多了，因此這是從當前狀態轉移到下一個狀態的問題。
Shervin Khodabandeh：是的。
Sam Ransbotham： Craig對工作場所的多樣性提出了一些好的意見。如果收集數據的團隊對他們的數據集內在的偏見不甚了解，那麼演算法註定會產生偏見。他指的是電影《編碼偏見》和MIT媒體實驗室研究員Joy Buolamwini。喬伊（Joy）是演算法正義聯盟（Algorithmic Justice League）的創始人。我們將在展示說明中提供一些鏈接，您可以在其中閱讀有關Joy和她的研究的更多信息。
感謝您今天加入我們。我們期待著下一集，當我們將與Will Grannis交談時，他將面臨在Google Cloud上構建CTO功能所面臨的獨特挑戰。直到下一次。
Comments