本文轉自Crunchbase，原文地址。原文是英文，使用Google機器翻譯，不影響重要信息獲取。

由Zest AI CTO Jay Budzik撰寫。Zest的ZAML軟件使用機器學習技術來幫助貸方安全，公平，透明地做出更有效的信用決策。Zest由Google CIO Douglas Merrill創立，並得到Matrix Partners，Lightspeed，Upfront，Flybridge和Baidu的支持，與全球金融公司合作，幫助更多人獲得公平和透明的信貸。

自從MMC Ventures發布意外發現以來已經一年了，有40％的AI初創公司在其技術堆棧中沒有實質性使用AI。（這項研究是在歐洲進行的，但是，可能在任何地方。）作為一家AI公司的CTO，我可以告訴您嗡嗡聲可能令人耳目一新。

我最近已經與許多客戶，合作夥伴，尤其是投資者討論了很多難題，證明AI是真實的（不僅是真實的）。真正的AI公司的外觀輪廓仍在形成，我認為Andreesseen Horowitz的Matt Bornstein和Martin Casado在這裡寫的關於AI公司的內容將是有先見之明的。

如果您是AI公司創始人或CEO的對面的投資者，客戶或合作夥伴，以下是我要問他們的團隊是否合法的問題。鑒於AI的種類繁多，出於特殊性考慮，我們在此將AI定義為機器學習。

您使用了哪些數據集來訓練和評估您的AI？

通用AI仍然是科幻小說。當今的技術適用於一系列狹窄而具體的問題，而機器可以通過處理歷史指標和結果的大數據集來學習解決這些問題，效果最好。您可以通過保留一些數據以測試其準確性來判斷您的AI在解決問題上的表現如何。人工智能公司的領導者應該能夠描述他們的人工智能正在解決什麼具體問題，它的準確性如何以及這種準確性如何帶來業務成果。

AI公司需要的數據越多越好。數據可以有多種形式，但是很容易從行和列的角度進行思考。這些行對應於對結果的每次觀察（例如，貸款是否變壞或得到還清？）。列是輸入；在觀察到結果之前已知的信息（例如，申請時的月收入）。

一家AI公司應該能夠向您詳細介紹其數據。公司應該能夠傳達AI試圖預測的內容，用於訓練AI的數據以及如何評估AI的有效性。AI多久更新一次？他們必須採取什麼計劃來合併新數據以使其更好？如果一家公司對數據問題有很好的答案，那麼很有可能是合法的。

現在您的AI應該做什麼人在做什麼？

如果對面的團隊認真對待AI，那麼您從一開始就對他們來說是一個亟待解決的問題。您想聽到他們通過其AI的特定應用進行交談。根據部署方式和工作方式，人工智能可以解決數千種潛在任​​務中的任何一項。您要警惕缺乏特定重點的團隊，以及聽起來似乎難以置信的一切。他們是否聲稱您將能夠取代大量工人？他們是否將AI作為解決任何問題的靈丹妙藥？

當一家公司真正完成了將AI應用於特定問題的過程時，它就會知道結果的準確性，何時成功和失敗以及何時存在數據和流程空白。該公司非常了解，可以看到人工智能是一種工具，它可以完成計算機和高級數學所擅長的工作，同時讓人們有能力做得更好。

公司應該清楚地了解人們將需要做哪些事情，而AI不會做這些事情，以及AI如何適應涉及人的業務流程。應該描述將AI應用於業務問題所需的變更管理，以便您知道客戶需要做什麼才能獲得收益。與AI糾纏不清的人應該連貫，周到和謙虛。他們將講述發生了什麼問題以及如何糾正的問題。警惕聲稱不需要仔細監視AI的說法。

人工智能是否已用於推動一致的業務成果並為多個客戶解決實際問題？

誘人的是低估了在實驗室中行之有效的想法並使之在現實世界中起作用的難度。進入工作環境後，AI通常不會達到預期的效果，而使其真正起作用可能是漫長而昂貴的旅程。根據Gartner的最新估計，只有20％的AI項目能夠脫離實驗​​室。在我的工作中，我聽到了來自大型公司的故事，這些公司花費了多年的時間試圖將其AI項目投入生產。

了解有關AI如何在實踐中工作的一些細節非常重要。您可以詢問有多少客戶使用過它，已經投入生產多長時間了，它產生了什麼業務成果。平均啟動和運行需要多長時間？AI如何與相同業務成果或任務的歷史度量進行比較？與規則，決策樹或線性模型之類的較簡單的替代方法相比，又如何呢？

那裡有很多看起來很酷的AI。困難的部分是將一種可行的方法（無需處理大量示例和特定的有限數據集）轉換為可在現實世界中使用的方法，而無需進行持續且昂貴的調整和維護。數據科學很難，要創造能夠產生一致業務成果的AI，就需要對高技能人才，出色的工具和流程規範（包括全面的監控）進行投資。只需記住，在演示中看起來不錯的東西在應用於實際問題時可能不會以相同的方式出現：提出問題以證明AI確實有效。

構建AI需要花費多少時間，進行了多少現場測試以及誰對其進行了檢查並提出了意見？

您當然想知道公司擁有多少博士，以及為開發AI投入了多少資金。儘管它們無法說明全部內容，但這些都是不錯的指標。目的是要確保公司在實驗室中的各種問題上花了足夠的時間和精力進行遊戲，然後在現場進行測試和改進。理想情況下，您將聽到有關多年發展以及與不同類型的客戶一起部署的信息，從而可以確保他們的AI具有適應性並得到了證明。

對AI的監管只會增加。這將要求模型經過仔細的驗證和治理過程，就像我們今天在金融服務中看到的那樣。為了確保以負責任的方式使用模型，需要對AI模型進行徹底的驗證。在醫學研究中，食品藥品監督管理局已經批准了一些支持AI的流程，而在金融領域，監管機構已經在審計中批准了AI模型。當遵循正確的驗證流程時，即使在受監管的行業中，人工智能也已經通過了部署，並有望被廣泛採用。公司有哪些驗證做法？

了解您的AI的決定或建議有多容易？

AI的早期結果是如此令人鼓舞，以至於該行業在沒有建立透明的工具來審查決策和流程的情況下迅速前進。如果您的AI建議張貼要點擊的帖子或選擇唇彩顏色，那並沒有那麼重要。為了做出聯邦監管的決定（例如貸款或駕駛），政府需要針對AI模型構建過程的每個步驟以及企業為每個基於AI的決定辯護的詳細文檔。在許多情況下，無論監管機構是否審查了施工過程，公司都會對有偏見的決策或不良結果負責。要求AI公司向您展示他們如何向客戶和監管機構解釋基於AI的決策。

AI有什麼樣的偏見，如何消除？

優秀的AI公司應該對如何使其AI公平有一個清晰的認識，因為偏差在每個數據集中都是固有的。我們知道，我們用於訓練模型的數據集包含性別和種族偏見，並且許多數據集不包括歷史上服務不足的重要人口統計數據段。建立更具包容性的AI導致我們搜索更多數據。團隊中的人也很重要。一個好的數據科學家團隊知道其盲點和價值多樣性。Zest技術團隊中約40％是女性和計算機科學領域中代表性不足的其他領域。多樣性帶來更好的結果。

處理良性意圖最終導致不公平結果的意想不到的偏見，又回到了透明度。由於AI可以在看似不同的信息之間找到看不見的關聯，因此輸入看起來似乎沒有偏見，但結果可能會有偏差。符合道德規範的AI公司將有一個全面且可操作的策略來衡量和緩解偏見，以便公平，包容地使用AI。要求看到它。

每個人都希望擁有成功的生意並賺錢。使用AI來實現您的目標並不難，您只需要問正確的問題，以確保您的AI合作夥伴是合乎道德的，並證明其具有將AI始終投入生產的紀律。真正的AI公司可以告訴您有關此旅程的所有信息。