來源：Reddit

編輯：小芹、鵬飛

【新智元導(dǎo)讀】Reddit有人爆料，深度學(xué)習(xí)大神Hinton的五篇主要深度學(xué)習(xí)論文都沒有引用Jürgen Schmidhuber早期的相關(guān)工作。Jürgen是LSTM之父、著名深度學(xué)習(xí)專家，然而其知名度遠(yuǎn)不及“深度學(xué)習(xí)三巨頭”，再次引起業(yè)界熱議。你怎么看？來新智元AI朋友圈 和AI大咖們一起討論吧。

今天，一篇帖子打破了Reddit機(jī)器學(xué)習(xí)板塊的平靜：Geoff Hinton的五篇主要深度學(xué)習(xí)論文都沒有引用Jürgen Schmidhuber早期的相關(guān)工作。

Jürgen Schmidhuber是LSTM 的發(fā)明人、著名深度學(xué)習(xí)專家。事情緣起于Jürgen上個(gè)月發(fā)表的一篇長文《Deep Learning: Our Miraculous Year 1990-1991》，他詳細(xì)論述了近30年前，即1990~1991年之間他和團(tuán)隊(duì)進(jìn)行的許多研究，并稱這一年為“奇跡之年”。

新智元對(duì)這篇文章進(jìn)行了翻譯介紹，請(qǐng)參考：

世界欠他一個(gè)圖靈獎(jiǎng)！LSTM之父的深度學(xué)習(xí)“奇跡之年”

帖主自稱是Jürgen“真正的粉絲”，他提到Jürgen的“奇跡之年”文章，指出：請(qǐng)看第1、2、8、9、10節(jié)，Jürgen提到了他們?cè)贖inton之前很久做的工作，但Hinton都沒有引用，這些研究的參考文獻(xiàn)證實(shí)了這一點(diǎn)，乍一看，它并不明顯，是隱藏的，必須要從參考文獻(xiàn)中回溯才能發(fā)現(xiàn)。

帖主一一列舉：

在“第1節(jié)，第一個(gè)非常深的神經(jīng)網(wǎng)絡(luò)，基于無監(jiān)督預(yù)訓(xùn)練 (1991)”Jürgen“通過對(duì)RNN的層次結(jié)構(gòu)進(jìn)行無監(jiān)督的預(yù)訓(xùn)練，促進(jìn)了深度RNN的有監(jiān)督的學(xué)習(xí)”，并且很快就能夠“解決以前無法解決的深度學(xué)習(xí)任務(wù)，神經(jīng)網(wǎng)絡(luò)的層數(shù)超過了 1000 層”，他提到參考文獻(xiàn)[UN4]，實(shí)際上是Hinton后來的類似工作：

這項(xiàng)工作發(fā)表十多年后，一種用于更有限的前饋神經(jīng)網(wǎng)絡(luò)的類似方法出現(xiàn)了，稱為深度置信網(wǎng)絡(luò) (DBN)。該論文的證明基本上就是我在 1990 年代早期為我的 RNN 堆棧使用的證明：每一個(gè)更高的層都試圖減少下面層中數(shù)據(jù)表示的描述長度 (或負(fù)對(duì)數(shù)概率)。

這項(xiàng)工作發(fā)表十多年后，一種用于更有限的前饋神經(jīng)網(wǎng)絡(luò)的類似方法出現(xiàn)了，稱為深度置信網(wǎng)絡(luò) (DBN)。該論文的證明基本上就是我在 1990 年代早期為我的 RNN 堆棧使用的證明：每一個(gè)更高的層都試圖減少下面層中數(shù)據(jù)表示的描述長度 (或負(fù)對(duì)數(shù)概率)。

在那個(gè)時(shí)候，無監(jiān)督的預(yù)訓(xùn)練是一件大事，而現(xiàn)在已經(jīng)不那么重要了。請(qǐng)參閱第19節(jié)“從無監(jiān)督預(yù)訓(xùn)練到純粹監(jiān)督學(xué)習(xí) (1991-95 和 2006-11)”

在“第 2 節(jié)：將神經(jīng)網(wǎng)絡(luò)壓縮 / 蒸餾成另一個(gè) (1991)”，Jürgen還訓(xùn)練了“一個(gè)學(xué)生NN來模仿教師NN的行為”，簡要提到了Geoff后來的類似工作[DIST2]：

我稱之為將一個(gè)網(wǎng)絡(luò)的行為 “collapsing” 或 “compressing” 到另一個(gè)。今天，這個(gè)概念已經(jīng)被廣泛使用，也被稱為將教師網(wǎng)絡(luò)的行為 “蒸餾”(distilling) 或 “克隆” 到學(xué)生網(wǎng)絡(luò)。

我稱之為將一個(gè)網(wǎng)絡(luò)的行為 “collapsing” 或 “compressing” 到另一個(gè)。今天，這個(gè)概念已經(jīng)被廣泛使用，也被稱為將教師網(wǎng)絡(luò)的行為 “蒸餾”(distilling) 或 “克隆” 到學(xué)生網(wǎng)絡(luò)。

在“第 9 節(jié)：通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)序列注意力 (1990)”，Jürgen寫道：我們已經(jīng)有了兩種現(xiàn)在常見的神經(jīng)序列注意力類型：通過神經(jīng)網(wǎng)絡(luò)中的乘法單元來實(shí)現(xiàn)端到端可微分的 “軟” 注意力，以及在強(qiáng)化學(xué)習(xí)環(huán)境下的 “硬” 注意力。博客上提到后來的大量后續(xù)工作都基于此，包括Hinton類似工作[ATT3]：

我在CMSS 1990 [ATT2]上發(fā)表的概述論文總結(jié)了我們有關(guān)注意力的早期工作，據(jù)我所知，這是第一個(gè)已實(shí)現(xiàn)的神經(jīng)系統(tǒng)，用于結(jié)合glimpses，共同訓(xùn)練識(shí)別和預(yù)測組件與注意力組件。二十年后，我1990年論文的審稿人寫了他自己作為相關(guān)論文[ATT3]：“據(jù)我們所知，這是第一個(gè)將glimpses結(jié)合在一起的可實(shí)現(xiàn)系統(tǒng)，共同訓(xùn)練識(shí)別組件…注意力組件。”

我在CMSS 1990 [ATT2]上發(fā)表的概述論文總結(jié)了我們有關(guān)注意力的早期工作，據(jù)我所知，這是第一個(gè)已實(shí)現(xiàn)的神經(jīng)系統(tǒng)，用于結(jié)合glimpses，共同訓(xùn)練識(shí)別和預(yù)測組件與注意力組件。二十年后，我1990年論文的審稿人寫了他自己作為相關(guān)論文[ATT3]：“據(jù)我們所知，這是第一個(gè)將glimpses結(jié)合在一起的可實(shí)現(xiàn)系統(tǒng)，共同訓(xùn)練識(shí)別組件…注意力組件。”

與第10節(jié)“分層強(qiáng)化學(xué)習(xí) (1990)”類似，Jürgen介紹了HRL“使用端到端可微的基于NN的子目標(biāo)生成器HRL0，以及使用循環(huán)的NN學(xué)習(xí)生成子目標(biāo)序列[HRL1] [HRL2]”，提到了Hinton后期的工作HRL3:

不久之后，其他人也開始發(fā)表HRL的文章。例如，我們參考文獻(xiàn)[ATT2]的審稿人是參考文獻(xiàn) [HRL3]的作者(該審稿人在第6節(jié)中總結(jié)了我們關(guān)于HRL的早期工作)。

不久之后，其他人也開始發(fā)表HRL的文章。例如，我們參考文獻(xiàn)[ATT2]的審稿人是參考文獻(xiàn) [HRL3]的作者(該審稿人在第6節(jié)中總結(jié)了我們關(guān)于HRL的早期工作)。

“第 8 節(jié)：端到端可微快速權(quán)重：讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)編程神經(jīng)網(wǎng)絡(luò) (1991)”中，Jürgen發(fā)布了一個(gè)網(wǎng)絡(luò)“通過梯度下降學(xué)習(xí)以快速操作另一個(gè)網(wǎng)絡(luò)的快速權(quán)重存儲(chǔ)”，和“主動(dòng)控制快速的權(quán)重通過二維張量或外部產(chǎn)品更新權(quán)重”，指向的[FAST4a]論文恰好是Hinton后來的論文:

四分之一個(gè)世紀(jì)后，其他人也采用了這種方法[FAST4a]

四分之一個(gè)世紀(jì)后，其他人也采用了這種方法[FAST4a]

帖主總結(jié)道：

確實(shí)，Hinton并沒有在任何類似的論文中引用Jürgen，更有點(diǎn)瘋狂的是，他是Jürgen 1990年的論文[ATT2]的編輯，該論文總結(jié)了注意力學(xué)習(xí)和分層RL，之后他發(fā)表了相關(guān)的論文，但是他沒有引用Jürgen。

Jürgen還有一個(gè)著名的抱怨，即Hinton在《自然》雜志上發(fā)表的深度學(xué)習(xí)綜述既沒有提到反向傳播的發(fā)明者(1960-1970)，也沒有提到“深度學(xué)習(xí)之父Alexey Grigorevich Ivakhnenko”，后者在1965年發(fā)表了首個(gè)適用于深度網(wǎng)絡(luò)的通用學(xué)習(xí)算法。

除了Ivaknenko和Fukushima等六七十年代早期的先行者外，大多數(shù)深度學(xué)習(xí)的概念都來自于Jürgen與Sepp、 Alex和Dan等人的團(tuán)隊(duì)：深度網(wǎng)絡(luò)的無監(jiān)督預(yù)訓(xùn)練，人工好奇心和GAN，梯度消失，語言處理和語音的LSTM，蒸餾網(wǎng)絡(luò)，注意力學(xué)習(xí)，贏得視覺比賽的CUDA CNN, 100層以上的深度網(wǎng)絡(luò)，meta-learning，以及optimal AGI和Godel Machine的理論工作。

Jürgen 表示，深度學(xué)習(xí)革命背后的許多基本思想，是在 1990~1991 年不到 12 個(gè)月的時(shí)間里，在慕尼黑理工大學(xué) (TU Munich) 產(chǎn)生的，而這些思想為當(dāng)今的許多深度學(xué)習(xí)前沿研究奠定了基礎(chǔ)，包括 LSTM、元學(xué)習(xí)、注意力機(jī)制和強(qiáng)化學(xué)習(xí)等。

Jürgen 稱這一年為 “奇跡之年”。盡管當(dāng)時(shí)他們發(fā)表的工作幾乎無人問津，但四分之一個(gè)世紀(jì)后，基于這些想法的神經(jīng)網(wǎng)絡(luò)不斷得到改進(jìn)，其應(yīng)用出現(xiàn)在智能手機(jī)等 30 多億設(shè)備、每天被使用數(shù)十億次，在全世界消耗大量的計(jì)算資源。

在 AI 領(lǐng)域，深度學(xué)習(xí)三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 人盡皆知，Jürgen Schmidhuber 的知名度卻遠(yuǎn)不及三人，盡管他發(fā)明的 LSTM 被認(rèn)為是教科書級(jí)別的貢獻(xiàn)。他是被圖靈獎(jiǎng)遺忘的大神。在Hinton等三巨頭獲圖靈獎(jiǎng)之時(shí)，Jürgen卻得到了很大的呼聲：“為什么Jürgen沒有得圖靈獎(jiǎng)？”

除了 LSTM 之外，Jürgen Schmidhuber “引以為傲” 的還有他在 1992 年提出的 PM（Predictability Minimization）模型。他堅(jiān)持認(rèn)為現(xiàn)在大火的 GAN 就是 PM 的變種，兩者的區(qū)別就在于方向是反的，為此，Jürgen 還和 GAN 的提出者 Ian Goodfellow 有過線上線下激烈的交鋒，引起業(yè)界廣泛討論。

至于對(duì)深度學(xué)習(xí)三巨頭 Hinton、Bengio 和 LeCun，Jürgen Schmidhuber 也打過幾輪口水仗，認(rèn)為三人在自己的圈子里玩，對(duì)深度學(xué)習(xí)領(lǐng)域其他更早期先驅(qū)人物的貢獻(xiàn)則只字不提。

Reddit熱議：Schmidhuber太過領(lǐng)先于時(shí)代

很多你以為新的東西其實(shí)早就存在了

feelings_arent_facts：我也一直在談?wù)揇eepMind。DeepMind（和OpenAI）的發(fā)現(xiàn)并不比學(xué)術(shù)文獻(xiàn)中已經(jīng)發(fā)現(xiàn)的更新。他們只是碰巧擁有一支強(qiáng)大的前端和設(shè)計(jì)團(tuán)隊(duì)，以使其廣為宣傳，并為大眾所用而已。

NER0IDE：例如DQN。以前很多人已經(jīng)將函數(shù)逼近應(yīng)用于Q網(wǎng)絡(luò)。他們確實(shí)添加了一些技巧來使學(xué)習(xí)更加穩(wěn)定，但是這個(gè)想法并不新鮮。

glockenspielcello：這是我認(rèn)為人們會(huì)誤會(huì)的地方。實(shí)際上，作為一個(gè)工程研究機(jī)構(gòu)，DeepMind在許多方面其實(shí)更像個(gè)純粹的科研機(jī)構(gòu)。是的，他們并不一定在概念上取得任何突破，但這并不會(huì)減少使系統(tǒng)真正發(fā)揮作用的工程實(shí)踐的價(jià)值。

之所以沒有引用你的工作，是有客觀原因的！

NewFolgers：電燈泡是兩個(gè)人在同一天發(fā)明的。電話也是如此。隨著GPU的處理技術(shù)的進(jìn)步，2000年代末開始了深度學(xué)習(xí)的真正曙光，隨后不久便開始了爆炸式增長。

我不是要淡化Schmidhuber和他的團(tuán)隊(duì)的才華和創(chuàng)新。我認(rèn)為Schmidhuber及其團(tuán)隊(duì)的作品未得到足夠重視的原因，是因?yàn)樗^領(lǐng)先于時(shí)代。任何領(lǐng)先時(shí)代的產(chǎn)物都需要從戰(zhàn)略上重新審視。

相比圖靈獎(jiǎng)得主的影響力，我認(rèn)為Schmidhuber及其團(tuán)隊(duì)成果的影響力微乎其微。從一個(gè)游戲開發(fā)人員的角度來看，這種情況一直存在。尤其是在ML不斷加速行業(yè)工具和知識(shí)迭代的今天，我們要的是在最快的時(shí)間、找到正需要的東西。

Henry__Gondorff：我完全可以理解他的沮喪。由于我們的科學(xué)家沒有得到足夠的報(bào)酬，因此認(rèn)可我們的工作就是對(duì)我們的最大獎(jiǎng)賞。

但是，從他那里讀到的內(nèi)容來看，我必須說，我完全可以理解為什么他未被認(rèn)可！他的作品（至少對(duì)我來說）很難理解，而且他經(jīng)常將事情的“相似性”延伸得很遠(yuǎn)，與Goodfellow的互動(dòng)就是一個(gè)很好的例子。科學(xué)不僅與發(fā)現(xiàn)有關(guān)，讓其他科學(xué)家了解您的工作同樣重要。在這一方面，他顯然缺乏。

另外：，為什么像Hinton，Goodfellow等幾乎所有的天才都拒絕了他的主張？是陰謀反對(duì)他嗎？不，他們沒有理由這樣做。或者，更可能的一種推測是：他們都讀了他的著作而忽略了它，因?yàn)樗€不夠重要。

另一個(gè)可能的原因是影響力會(huì)隨著時(shí)間的流逝“衰落”。即使他提出了所有這些東西，都太久遠(yuǎn)了。人們的注意力跨度很短，舊的東西很快就會(huì)被人遺忘，這就是世界運(yùn)轉(zhuǎn)的方式。

以我個(gè)人的觀點(diǎn)：假設(shè)Schmidhuber確實(shí)是一位出色的科學(xué)家，他也是有點(diǎn)自大狂妄（我想即使是他的粉絲也不能否認(rèn)這一點(diǎn)）如果不是這次事件，可能沒有人會(huì)知道他的名字。

并且，濫用審稿人的職位，來迫使另一位科學(xué)家引用你的那些顯然無關(guān)的工作，是一件惡心的事情。

參考鏈接：https://reddit/r/MachineLearning/comments/e3buo3/d_five_major_deep_learning_papers_by_geoff_hinton/