來源：Twitter、arXiv

編輯：肖琴

【新智元導讀】谷歌AI研究員、Keras之父Fran?ois Chollet歷時2年的力作近日發布，在長達64頁的論文中，他深入分析、闡述“智能的定義和測量”，引起AI研究社區大量關注。你贊同Chollet的觀點嗎？來新智元 AI 朋友圈和AI大咖們一起討論吧。

谷歌AI研究員、Keras之父Fran?ois Chollet近日發表一篇長達64頁的論文，深入分析、闡述“智能的定義和測量”，引起AI研究社區大量關注。

與此同時，Chollet還發布了一個新的AI評價數據集“抽象推理語料庫”(Abstraction and Reasoning Corpus)，簡稱ARC。Chollet表示，在過去的2年里，他一直斷斷續續地在做這件事。

在新智元小程序獲取論文：

論文的主要內容包括：

1) 回顧歷史，我們如何定義和評估AI

2) 對“智能”(Intelligence)的新的正式定義，以及對“通用AI的基準”（general AI benchmark）應該是什么樣子的具體指導原則

3) 介紹ARC的目標及其背后的邏輯。

Chollet說，這個定義是他試圖將過去10年來的思考和討論(演講、Twitter、對話等等)正式轉化為一些有用、可行的東西的嘗試。ARC這個新的AI評價數據集引導他朝著非常有趣的研究方向發展，因此也希望讀者發現它有用。

Chollet強調，論文中提供的定義并不是“唯一正確的”定義。那不是重點。因為智能是復雜的，在不同的背景中可能意味著不同的東西。“智能”或“人工智能”的多種定義都可能是有效的。

Chollet最近還在一個算法上取得了很好的進展，這個算法至少能夠解決部分ARC，基于一個他研究了很長時間的認知理論(autonomous abstraction)。Chollet表示將盡快分享這些想法和代碼。

這個理論自2009年以來一直在醞釀之中。它借鑒了ONEIROS項目(開放終端神經電子智能機器人操作系統)的重要元素，這是Chollet從2009年到2012年(在2014年短暫地再次參與)一直在開發的一個通用AI架構，但后來大部分都被放棄了。

ONEIROS是從一個經典的RL思想開始的，集中于1)學習時空特征的模塊化層次“maps”(使用PMI矩陣分解而不是梯度下降)，2)通過注意力機制的形式進行上下文切換，以及3)內在動機(好奇心)。

其基本想法是“認知是一種感知運動信息空間的動態的、層次-模塊化的地圖”。因此，Chollet還把它稱為“map theory”。

Chollet認為ONEIROS做了很多正確的事情(特別是考慮到當時的情況——主要是在2010年設計，并在2012年嘗試對其進行簡化)，但最終它沒有觸及最重要的一點：抽象的本質。

這就是“The Measure of Intelligence”這項工作正在做的，ARC正是觸及了“抽象的本質”。

有意思的是，“Keras”這個名字來自ONEIROS：

“Chollet 創建了 Keras 作為開放式神經電子智能機器人操作系統 (ONEIROS) 機器人研究項目的神經網絡的 API。onEIROS 這一名稱是對古希臘史詩《奧德賽》的致意，在這部史詩中，神話人物Oneiroi（oneiros 的單數形式）為人類指明了兩條進入夢境的路：一條路穿過宏偉的象牙之門進入噩夢，另一條路則穿過低矮的獸角之門，最終呈現一片神圣的景象。Keras 在希臘語中意為角，這個名稱非常合適，因為 Keras API 旨在為與神經網絡協同使用提供一條捷徑。”

“Chollet 創建了 Keras 作為開放式神經電子智能機器人操作系統 (ONEIROS) 機器人研究項目的神經網絡的 API。onEIROS 這一名稱是對古希臘史詩《奧德賽》的致意，在這部史詩中，神話人物Oneiroi（oneiros 的單數形式）為人類指明了兩條進入夢境的路：一條路穿過宏偉的象牙之門進入噩夢，另一條路則穿過低矮的獸角之門，最終呈現一片神圣的景象。Keras 在希臘語中意為角，這個名稱非常合適，因為 Keras API 旨在為與神經網絡協同使用提供一條捷徑。”

“The Measure of Intelligence”論文發表后，在Twitter、Reddit等社區得到很多關注，有人評價“有趣”、“必讀的好文章”，也有人質疑這項研究是否必要。

論文內容結構

Google機器學習研究員Emil Wallner帶來了不錯的總結和解讀，一起來看。

為了推進AGI，我們需要量化和評價其技能獲取效率

Fran?ois Chollet的核心觀點是：我們不能通過衡量其對特定技能的掌握程度來評價一個AI系統的適應性和靈活性。

只要數據足夠多，模型就能靠“記憶”實現決策。為了推進AGI，我們需要量化和評價其***技能獲取效率***。

在20世紀70年代，許多人認為國際象棋反映了人類理性思維的全部范圍。用計算機下棋就能達成認知理解的重大飛躍。但是，在IBM的DeepBlue之后，他們意識到計算機并沒有更好地理解人類的思維。

IBM的DeepBlue并不“智能”，但我們認為掌握國際象棋的人是有智能的。這是因為我們將國際象棋與一種元技能(meta-skill)聯系在一起，元技能是一種用于數學和推理等邏輯任務的能力。我們經常以類似的方式將AI系統擬人化：掌握任務= AGI。

同樣，Chollet認為DeepMind的圍棋AI AlphaZero既不靈活也不通用。他將其與使用局部敏感哈希函數的哈希表進行比較，通過無限的模擬，你可以用動作來映射棋盤的位置。

Chollet認為，當前的以任務為中心的智能觀點是推進AGI的瓶頸所在。相反，我們應該采用Hernandez-Orallo的觀點：

“人工智能是一門讓機器完成它們從未見過、也沒有事先準備好的任務的科學和工程技術。”

當人類接受不同的認知測試時，得到的結果是彼此相關的。這表明人類具有學習技能的基本元技能，即“g因子”(g-factor)。這些是Chollet認為評價AI需要衡量的能力，從Broad Generalization開始。

在II.2節， Chollet 正式闡述了他的中心思想：

“一個系統的智能是對其在一定任務范圍內的技能獲取效率的衡量，與先驗、經驗和泛化難度相關。”

下面是“技能獲取效率”的概述。“Task”可以是國際象棋，“Situation”是一個棋盤位置，而“skill program”是一個固定的國際象棋引擎。可以將智能系統看作是不同任務的程序綜合引擎。

Chollet使用算法信息論(Algorithmic Information Theory)來量化程序和交互：

“智能是學習者將自己的經驗和先驗知識轉化為新技能的速度，這種新技能的價值在于不確定性和適應性。”

為了避免局部通用系統人為地“購買”特定任務的表現，Chollet將先驗知識限制在發展科學理論中發現的“核心知識”：比如基礎物理、算術、幾何學和對意圖的基本理解。

Chollet根據他概述的最佳實踐ARC創建了一個數據集。該數據集模擬了IQ測試(流體智能)中的抽象和推理部分。

下面是幾個例子：

ARC數據集包含400個訓練任務和600個評估任務。

主要特點:

• 評估集中只有新的任務
• 高度抽象
• 類似于人類智商測試
• 每個任務有3個演示
• 固定/有限的訓練數據
• 一組明確的先驗條件

https://github/fchollet/ARC

向@fchollet致敬，感謝他為AGI的發展提出了清晰可行的建議。這是一篇必讀論文！