魚羊 十三 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

AI學術圈，又吵了起來，圖靈獎得主、年近古稀的機器學習奠基者、唱衰AI的代表人物等等，紛紛下場“開懟”。

相關話題在Twitter上轉發過千，點贊數萬，場面極其激烈。

究其源頭，起于一個直擊靈魂的問題： 什么是深度學習？

什么是深度學習？

你可能會很自然地想起那段再熟悉不過的定義：

深度學習（DL）是一類機器學習算法，使用多個層逐步從原始數據中提取更高層的特征。

——維基百科

深度學習（DL）是一類機器學習算法，使用多個層逐步從原始數據中提取更高層的特征。

——維基百科

有點懵逼？

現在，有人給出了更明確的說法，出手者不是旁人，正是深度學習三巨頭之一，圖靈獎得主Yann LeCun。他說：

有些人似乎仍然對什么是深度學習感到困惑。以下是深度學習的定義：深度學習就是構建由參數化功能模塊構成的網絡，并利用基于梯度的優化方法進行樣本訓練。

與此定義正交的是學習范式：強化學習、監督學習或自監督學習。不要說“深度學習沒法做X” ，如果你真正想的是“監督學習需要太多數據所以沒法做X”。

對于其擴展形態(動態網絡、可微編程、圖神經網絡等)，網絡結構可以依數據動態變化。

有些人似乎仍然對什么是深度學習感到困惑。以下是深度學習的定義：深度學習就是構建由參數化功能模塊構成的網絡，并利用基于梯度的優化方法進行樣本訓練。

與此定義正交的是學習范式：強化學習、監督學習或自監督學習。不要說“深度學習沒法做X” ，如果你真正想的是“監督學習需要太多數據所以沒法做X”。

對于其擴展形態(動態網絡、可微編程、圖神經網絡等)，網絡結構可以依數據動態變化。

這話之后還沒完，他又一口氣放出了5個排比句，對當前深度學習領域出現的“術語”進行了解讀：

別說“DL對對抗樣本很敏感”，你真正的意思是“受監督的卷積神經網絡對對抗樣本很敏感”。

別說“DL存在偏見”，你真正的意思是“純監督學習再現了訓練數據中的偏見”。

別說“DL不做邏輯推理”，你真正的意思是“一個簡單的前饋神經網絡不能做長鏈的推理”。

別說“DL不做因果推理”，你真正的意思是“一個普通的、有監督的神經網絡不會自發地發現因果關系。”

別說“DL對對抗樣本很敏感”，你真正的意思是“受監督的卷積神經網絡對對抗樣本很敏感”。

別說“DL存在偏見”，你真正的意思是“純監督學習再現了訓練數據中的偏見”。

別說“DL不做邏輯推理”，你真正的意思是“一個簡單的前饋神經網絡不能做長鏈的推理”。

別說“DL不做因果推理”，你真正的意思是“一個普通的、有監督的神經網絡不會自發地發現因果關系。”

本來是對自己去年初提出的觀點——“深度學習不再是流行概念”進行了一次回應。

但誰能想到，推文一出，各路大神紛紛出面發表觀點，展開了激烈的討論。

一場大型“互懟現場”就此拉開序幕。

機器學習奠基人下場激辯 馬庫斯開杠LeCun

第一批下場的，有DeepMind的高級研究科學家Danilo Jimenez Rezende。

他點贊認同，對Yann LeCun的觀點進行了簡要總結：

深度學習是用于構建復雜模塊化可微函數的工具的集合。討論深度學習能做或不能做什么毫無意義。真正有意義的是如何訓練它，以及如何把數據喂給它。

深度學習是用于構建復雜模塊化可微函數的工具的集合。討論深度學習能做或不能做什么毫無意義。真正有意義的是如何訓練它，以及如何把數據喂給它。

但知名AI“杠精”——馬庫斯看到這條推特，當場不干了：

如果不能討論一種方法可以做什么不能做什么，那它還算是一種方法？

推崇深度學習的人現在為了不被批評，總是在盡量避免提出具體、可驗證的主張。這是有一個很危險的信號。

如果不能討論一種方法可以做什么不能做什么，那它還算是一種方法？

推崇深度學習的人現在為了不被批評，總是在盡量避免提出具體、可驗證的主張。這是有一個很危險的信號。

機器學習先驅下場反擊：深度學習是方法論

對此，機器學習領域奠基人之一、AAAI前主席Thomas G. Dietterich迅速下場回擊：

深度學習本來就不是一種方法，而是方法論。是一種研究路徑。

深度學習本來就不是一種方法，而是方法論。是一種研究路徑。

結果，這一辯論分會場又炸出了另一位大佬——機器人教父Rodney Brooks。

他說：啊，所以深度學習是AI還是AGI哇？還是說人能想到的未來科技都基于深度學習？

這一發言似乎又點燃了馬庫斯新的戰斗熱情：

Rodney Brooks說得對啊！深度學習社區現在給自己的定位就是所有未來科技都將歸功于DL，但他們并沒有真正致力于任何事情。

等著吧，我馬上就會火力全開。

Rodney Brooks說得對啊！深度學習社區現在給自己的定位就是所有未來科技都將歸功于DL，但他們并沒有真正致力于任何事情。

等著吧，我馬上就會火力全開。

面對這樣的“挑釁”，Dietterich表示圖樣圖森破：DL（以及AI社區）的目標是推動智能系統的科學和工程進步，而不是成為嘴炮王者。

深度學習沒有定義“是什么”，而是“如何進行”

在各方互懟之外，Keras創造者Fran?ois Chollet也另開新帖，對“什么是深度學習”發表了觀點。

他認為，截至現在，深度學習的定義對他來說過于“嚴格”。并且和以下情況是相反的：

⑴ 非表征性學習(如SIFT、symbolic AI等人工特征工程)；

⑵ “淺層學習(shadow learning)”，其中只有一個特征提取層。

此外，它沒有規定一個特定的學習機制(如反向傳播)或一個特定的用例(如監督學習或強化學習)，也不需要端到端的聯合學習。

現在的定義描述的是我們該如何進行深度學習，而不是 它是什么。

現在的定義描述的是我們該如何進行深度學習，而不是 它是什么。

而現在的深度學習的定義，只是給出了一個比較清晰邊界：哪些是深度學習，哪些不是。例如：

DNN是深度學習，而遺傳編程、快速排序和支持向量機就不屬于深度學習。

單個的密集層(dense layer)不是深度學習，而密集堆棧(dense stack)是深度學習。

K-means不是深度學習，而堆疊K-means特征提取器是深度學習。

通常由人類工程師編寫的程序不是DL，參數化這樣的程序來自動學習一些常量仍然不是DL。

需要用一連串的特征提取器來進行表征學習。

Fran?ois Chollet認為， 深度學習模型只代表了很小很小的程序空間。

本來Chollet并未加入論戰，誰知道還是被拉下了水。

有好事網友Ben Kamphaus在馬庫斯的推文下，當場@了他，還有另一位深度學習巨頭、圖靈獎得主Bengio，他說：

Bengio、Chollet以及其他人正在對需要解決的問題進行實質性的處理了。

不知道那些憤怒高呼讓DL研究人員去做他們已經做了很多年工作的人，對解決這個問題有什么幫助。

Bengio、Chollet以及其他人正在對需要解決的問題進行實質性的處理了。

不知道那些憤怒高呼讓DL研究人員去做他們已經做了很多年工作的人，對解決這個問題有什么幫助。

馬庫斯則坦然解釋說：

我很了解Bengio和Chollet，只是希望他們更坦率些。

你曲解我的意思了。

我很了解Bengio和Chollet，只是希望他們更坦率些。

你曲解我的意思了。

對于馬庫斯的這一說法，Bengio和Chollet都沒有給出直接回應。

吃瓜群眾一臉懵逼

場面上，感覺大半個AI學術圈都下場爭鳴了。如此盛景，吃瓜群眾不免有些懵逼。

有人問：這個問題這么棘手的嗎？

當然，還有一臉懵逼的。

那么，你是怎么看的呢？

第一現場傳送門

https://bit.ly/2ZqjKkA

— 完—

2019年度獎項發布！鎖定AI Top玩家

50家領航企業、10大商業突破人物、10大最具創新力產品3大獎項出爐。

跟大咖交流 | 進入AI社群

量子位 QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術和產品新動態

喜歡就點「在看」吧 !