來源：VentureBeat

編輯：張佳、大明、向學

【新智元導讀】2020年機器學習將如何發展？ 新年伊始，VentureBeat采訪了包括谷歌AI負責人 Jeff Dean、PyTorch創始人Soumith Chintala等5位來自頂尖科技公司的負責人，聽聽他們怎么說。戳右邊鏈接上新智元小程序 了解更多！

人工智能不再準備有一天改變世界，它正在改變世界。新年伊始，VentureBeat轉向了AI領域最敏銳的頭腦，重新審視了2019年取得的進步，并展望了機器學習在2020年將如何發展。

受訪者包括 Google AI負責人Jeff Dean、PyTorch的創始人Soumith Chintala、加州大學教授Celeste Kidd、英偉達機器學習研究總監Anima Anandkumar和IBM研究總監Dario Gil。

先總結一下這次AI專家們預測的一些趨勢：

• 隨著Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的一件大事。在2020年尋找更多基于BERT和基于Transformer的模型的變體。

• 人工智能行業應該尋找方法來評估模型輸出的準確性。

• 諸如半監督學習，機器學習的神經符號方法之類的方法以及諸如多任務和多模式學習之類的子領域可能會在未來一年取得進展。

• 與生物統計數據（如語音記錄）相關的倫理挑戰可能會繼續引起爭議。

• 諸如量化之類的編譯器和方法可能會在PyTorch和TensorFlow這些機器學習框架中作為優化模型性能的方式而流行。

隨著Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的一件大事。在2020年尋找更多基于BERT和基于Transformer的模型的變體。

人工智能行業應該尋找方法來評估模型輸出的準確性。

諸如半監督學習，機器學習的神經符號方法之類的方法以及諸如多任務和多模式學習之類的子領域可能會在未來一年取得進展。

與生物統計數據（如語音記錄）相關的倫理挑戰可能會繼續引起爭議。

諸如量化之類的編譯器和方法可能會在PyTorch和TensorFlow這些機器學習框架中作為優化模型性能的方式而流行。

PyTorch創始人Soumith Chintala ：機器學習框架走向大融合

PyTorch是當今世界上最受歡迎的機器學習框架。它是2002年問世的Torch開源框架的衍生產品，自2015年發布以來，其擴展工具和庫均穩步增長。

今年秋天，Facebook發布了支持量化和TPU的PyTorch 1.3，以及深度學習可解釋性工具Captum和面向移動設備的PyTorch Mobile。還有諸如PyRobot和PyTorch Hub等其他產品和工具，可用于共享代碼并推進機器學習研究的可重復性。

Chintala在今年秋天在PyTorch開發者大會上曾表示，他認為2019年機器學習領域幾乎沒有突破性進展。

“實際上，我認為自從Transformer架構問世以來，我們基本上沒有什么開創性的新東西……卷積網絡在2012年就進入了黃金期，而Transformer則是在2017年左右。當然，這是我的個人看法，”他說。

Chintala表示，DeepMind的AlphaGo在強化學習方面的貢獻確實是開創性的，但對于現實世界中的實際任務，很難實現這一結果。Chintala還認為，機器學習框架（如PyTorch和TensorFlow）的發展改變了研究人員的研究思路和方式。

“從某種意義上說，這是一個突破，讓研發速度比以前快了一兩個數量級。”

今年，谷歌和Facebook的開源框架引入了量化功能，以提高模型訓練的速度。在未來的幾年內，Chintala認為PyTorch的JIT編譯器和Glow等神經網絡硬件加速器的重要程度和應用范圍都有望實現“爆炸式增長”。

“有了PyTorch和TensorFlow，目前框架的融合過程已經開始。之所以現在框架推出了量化功能，以及其他一系列較低層級的工具，是因為下一場戰爭是框架的編譯器之爭。比如XLA，TVM，以及PyTorch的Glow，在接下來的幾年中，深度學習框架的焦點將是如何更智能地實現量化，如何更好地促進框架間的融合，如何更有效地使用GPU，如何為新硬件進行自動編譯等等。”

Chintala預測，AI社區將在2020年之前將更多精力放在AI模型更廣泛意義的性能提升上，不僅僅是精度，也要重視其他因素，比如建立模型所需的能耗、如何解釋模型的輸出、AI如何更好地反映人們想要建立的社會類型。

“回想過去五六年，我們基本上只是關注準確性，我認為2020年將是我們開始以更復雜的方式思考的一年。”

Jeff Dean ：多模式學習將取得新突破

Jeff Dean領導Google AI已有近兩年時間，他已經在Google工作了二十年，是Google許多早期搜索和分布式網絡算法的架構師，也是Google Brain的早期成員之一。

Jeff Dean上個月出席NeurIPS 2019，就ASIC半導體設計的機器學習以及AI社區應對氣候變化等話題進行了演講。他預計2020年，多模式學習領域將取得進展，這是一種依靠多種媒體進行訓練的AI，而多任務學習則涉及旨在一次完成多個任務的網絡。

毫無疑問，2019年機器學習最明顯趨勢之一是基于Transformer的自然語言模型的持續壯大。Google于2018年開源了基于Transformer的模型BERT。據GLUE排行榜的數據顯示，今年發布的許多性能最佳的模型（如Google的XLNet，微軟的MT-DNN，Facebook的RoBERTa）都基于Transformer。XLNet 2將于本月晚些時候發布。

他表示：“ 我認為目前的研究路線在生成實用機器學習模型方面非常有成果，現在的機器學習模型比過去能夠完成的復雜得多，但未來仍有增長空間。“我們仍然有望創建更多的上下文相關的模型。目前BERT和其他模型可以很好地處理數百個單詞，但不能很好處理帶上下文的10000個單詞。”

Jeff Dean希望今后能夠少強調一些最新技術，而傾向于構建更強大的模型。

Celeste Kidd：2020年可能意味著“神經網絡不可解釋”這一觀念的終結

加州大學伯克利分校的發展心理學家，Kidd實驗室主管

Celeste Kidd與團隊成員在Kidd實驗室探索孩子們如何學習。她們的洞察可以幫助神經網絡的創造者——正試圖用與撫養孩子不太不同的方式來訓練模型。

在人工智能領域，“黑盒”一詞已經存在多年。它被用來批評神經網絡缺乏可解釋性， 但Kidd認為2020年可能意味著“神經網絡不可解釋”這一觀念的終結。她說：“黑匣子的論點是虛假的……大腦也是黑匣子，我們在理解大腦如何工作的方面取得了很大進步。”

為了解開對神經網絡的這種認識，Kidd將目光投向了像MIT-IBM Watson AI Lab的執行主任Aude Oliva這樣的人的工作。她說：“我們在討論這個問題，你可以解剖它們，把它們拆開，看看它們是如何工作的，并對它們進行實驗，就像我們理解認知一樣。”

在2020年，她希望看到人們更多地意識到技術工具和技術決策在現實生活中的影響，并摒棄工具制造商不對人們使用工具的行為負責任的觀點。她說：“我聽到很多人試圖為自己辯護，說他們自己不是真相的主持人；我認為必須提高人們對這種不誠實態度的認識。我們作為社會人，特別是作為正在開發這些工具的人們，確實需要直接意識到隨之而來的責任。”

Dario Gil：神經符號和常識推理是MIT-IBM Watson Lab的一項旗艦計劃

IBM研究主管

他預測，在架構的精度降低的情況下使訓練更有效率，會取得持續的進展。開發更有效的AI模型是NeurIPS的一個重點，IBM Research在NeurIPS引入了8位精確模型的深度學習技術。

他說：“我們用現有的硬件和GPU架構訓練深度神經網絡的方式仍然是如此 普遍低下。因此，對這此進行真正根本性的反思非常重要。我們必須提高AI的計算效率，這樣才能做得更多。”

Gil引用的研究表明，每三個半月對機器學習訓練的需求就會翻一番，遠遠快于摩爾定律預測的增長速度。Gil還對人工智能如何幫助加速科學發現感到興奮，但IBM的研究將主要集中于機器學習的神經符號方法上。

在2020年，Gil希望人工智能從業者和研究人員把重點放在準確性以外的指標上，以考慮投入生產的模型的價值。將領域轉向構建可信系統，而不是將準確性放在首位，這將是繼續采用人工智能的中心支柱。

Gil相信，要想讓更多具備數據科學和軟件工程技能的人使用人工智能，就必須擺脫這樣一種觀念——只有少數機器學習的奇才能夠做人工智能。他說：“如果我們把人工智能作為一個神話般的領域，只對從事這方面研究的博士開放，那么這并不能真正促進人們對人工智能的使用。”

在未來一年里， Gil對神經符號人工智能特別感興趣 。IBM將尋求神經符號方法來增強概率編程等功能——人工智能在其中學習如何操作程序，以及能夠共享決策背后的推理的模型。他認為，通過這些神經符號方法將學習和推理結合起來，其中符號維度嵌入到學習程序中，已經證明可以用所需的一小部分數據來學習。因為學習了一個程序，最終得到了一些可解釋的東西；因為有一些可解釋的東西，又得到了更可信的東西。

除了神經符號和常識推理（MIT-IBM Watson Lab的一項旗艦計劃）外，IBM Research在2020年還將探索AI的量子計算與模擬硬件（超越降低精度的架構）。

Nvidia機器學習研究總監Anima Anandkumar：希望看到更多針對特定行業的文本模型

Anandkumar加入了GPU制造商Nvidia，此前她在AWS擔任首席科學家。在英偉達，人工智能研究在多個領域繼續進行，從醫療保健的聯合學習到自動駕駛、超級計算機和圖形學。

英偉達和Anandkumar在2019年的一個重點領域是強化學習的模擬框架，該框架正變得越來越受歡迎和成熟。

在2019年，我們看到了英偉達的自動駕駛平臺和Isaac機器人模擬平臺的興起，以及從模擬和生成對抗網絡生成合成數據的模型。

去年還迎來了AI的興起，例如StyleGAN（一種可以使人們質疑自己是看的是計算機生成的人臉還是真實的人的技術）和GauGAN（可以用畫筆生成風景）。StyleGAN2 上個月首次亮相。

GAN是可以模糊現實界限的技術，Anandkumar認為，它們可以幫助AI社區解決一些主要的挑戰，例如能抓握的機器人手和自動駕駛。

Anandkumar還希望在未來一年內看到迭代算法、自監督和訓練模型的自訓練方法的進展，這些模型可以通過使用未標記的數據進行自訓練來改進。

在2019年8月，英偉達推出了Megatron自然語言模型。Megatron擁有80億個參數，被譽為全球最大的基于Transformer的AI模型。Anandkumar說，她對人們開始將模型表征為具有個性或字符的方式感到驚訝，并且她希望看到更多針對特定行業的文本模型。

參考鏈接：

https://venturebeat/2020/01/02/top-minds-in-machine-learning-predict-where-ai-is-going-in-2020/

圖文直播&在線互動｜新智元小程序大咖專訪第一期！

1月6日晚，16本Phthon系列教材作者董付國將在新智元小程序揭秘「 如何編寫有“Python味道”的Python代碼？」，當天還有機會與大咖在線互動、答疑解惑，現在掃描下方海報二維碼可搶占免費預約名額。