智東西（公眾號：zhidxcom）

編 | 云鵬

現在依靠機器學習算法來構建無創（不在皮膚表面造成創口）神經接口已經成為了許多初創公司的努力方向。2019年9月被Facebook收購的Ctrl-labs就在開發一種肌電腕帶（electromyography wristband），可將肌肉神經信號轉換為機器可讀指令。

NextMind目前正在開發的無創設備，是一種腦電圖（EEG）讀取分析裝置，戴在人腦后部視覺皮層所在的部位。NextMind在CES 2020上獲得了“VR / AR最佳創新獎”和“可穿戴技術榮譽獎（Honoree in wearable technologies）”。該公司目前由15名成員組成，涉及軟件、機器學習、硬件和游戲開發。

NextMind CEO Sid Kouider說，“我們專注于大腦皮層，通過無創方式解碼大腦視覺皮層中的神經活動，我們希望可以直接通過大腦來實現實時交互。”

一、不僅是“看到的”，更是“想到的”

當用戶專注于觀察某項事物時，這項事物的對應信號就會反饋在大腦的視覺皮層，體現為腦電圖的獨特波動。大腦的視覺皮層不僅會接收眼睛輸入的信息，同時也會放大這些神經信號。

Kouider說，“我們對大腦的運作方式特別是視覺意識、知覺和注意力的運作方式有很好的理解，這也是我們能夠發明這種被稱為“數字神經同步”的新方法的原因。我們不解碼視覺意圖本身，而是解碼視覺意圖的輸出。”

Kouider繼續說道，“當用戶環顧四周并聚焦于某個對象時，有關這個對象的神經信號就會放大，我們就會知道用戶想移動或激活這個物體。物體和大腦之間是存在神經共鳴的，注意力越集中，共鳴就越強，機器學習解碼的程度就會越高。最終，我們就可以確認用戶是要移動那個東西。”

這也是為什么NextMind的設備有別于眼動儀（eye tracker）。眼動儀無法感知用戶意圖的。Kouider舉了一個簡單的例子，他在自己面前舉起一個杯子，并注視坐在自己前面的人。此時，眼動儀無法判斷Kouider是在看著人還是杯子。但是，NextMind設備就可以，它不僅知道你看到了什么，還能知道你想看的是什么。

目前，解碼視覺意圖輸出只是第一步，第二條并行的軌道是解碼視覺想象力（visual imagination），這樣即使用戶閉著眼睛，設備一樣可以知道用戶在想什么，也就是可以讀出腦海中的畫面。

Kouider說“大腦視覺皮層既是外部世界信息輸入的區域，又是記憶、想象力的輸出區域。視覺皮層中提供視覺意識的神經元就是用來處理外界信息的神經元。”解碼視覺意圖和解碼視覺想象力這兩條軌道將在同一硬件上一起應用。不同的軟件和算法將針對性的處理不同的任務。

介于視覺信息和視覺想象這兩個極端之間的就是視覺注意力。人們對視覺注意力的控制是自上而下的（top-down），它受前額葉皮層等其他大腦區域的控制。視覺注意力的集中會增強一些特定的神經元，這就是NextMind所要解讀的東西。

二、僅重約60克，具有8個電極

在2017年9月創立NextMind之前，Kouider是認知神經科學教授，曾在《科學》和《自然》上發表過有關視覺意識和大腦的論文。他的工作主要針對無法說出或無法表達自己思想的人群。在積累了許多無創解碼神經信號的專業知識后，Kouider希望開發一種真正可以實時交互的產品。

NextMind的目標是做從視覺皮層實時地解碼視覺意識，進行腦機交互。Kouider希望讓這個技術廣泛的普及，讓用戶可以借此與任何顯示器進行腦機交互。

NextMind的設備重約60克，具有8個電極，用于測量大腦活動。8個是保證數據不丟失情況下的最小電極數目。另外，真正實現突破的是NextMind可以讓電極本身獲取更多的神經數據，從而提高機器學習的效果。

他們使用了新的高靈敏度材料，使其設備的SNR（信噪比）比臨床腦電圖提高了約4倍。并且電極的形狀很像梳子，可以穿過頭發觸達頭皮以獲得良好的信號。

在第一次使用時，NextMind的設備首先要對用戶的大腦進行初步了解。它會通過一次校準和軟件訓練來建立用戶的神經特征模型。過程包括用戶需要將注意力集中在一些會出現在屏幕上不同位置的綠色三角形圖案。整個過程只需要幾分鐘，用戶需要保持沉默以獲得一個更加準確的模型。

三、看電視玩游戲時解放雙手

點擊觀看：腦機交互演示——控制電視

Demo 1：用戶可以通過將注意力聚焦于電視屏幕上各個區域的綠色三角形來控制電視。比如更改頻道、播放或暫停內容、靜音或取消靜音。

點擊觀看：腦機交互演示——輸入密碼

Demo 2：用戶可以通過聚焦于屏幕上的數字來輸入密碼。

點擊觀看：腦機交互演示——打鴨子游戲

Demo 3：用戶可以通過聚焦于屏幕上移動的鴨子圖像來玩“打鴨子”游戲。

點擊觀看：腦機交互演示——控制燈光

Demo 4：用戶可以通過關注對應顏色的色塊來切換燈光顏色。

點擊觀看：腦機交互控制原理視頻說明

Kouider說，“視覺皮層包含有關形狀、方向、邊界、顏色和運動各類信息。”

目前這些測試需要依靠特定的形狀和顏色，但Kouider表示，很快NextMind的設備就將擺脫對于顏色的依賴，可以解碼任意形狀，甚至不需要具體圖案。“我們改進了硬件，我們改進了機器學習算法。這些都可以提高設備對于視覺神經信息的認知。”

“目前硬件是最主要的限制。但這不僅是我們的問題，也涉及到任何需要成像問題。雖然核磁共振（MRI）的圖像分辨率很高，但我們肯定沒法用它。就像任何機器學習創業公司都面臨的問題一樣，數據量限制了可以走多遠。”

點擊觀看：腦機交互演示——VR游戲

Demo 5：NextMind的設備可以與Oculus VR頭顯相結合，用戶可以不用雙手與畫面內容進行互動，玩VR游戲。

四、應用場景的探索

到目前為止，NextMind的研究成果還停留在演示階段，他們也在努力尋找非常高價值的應用場景。因此，公司目前準備推出開發套件。第一，他們希望借此獲得更多數據以改善其機器學習算法；第二，他們也希望借此探索更多的使用場景。

Kouider提到，NextMind引起了自動駕駛汽車制造商的興趣。他們設想將電極直接放在汽車座椅上，車輛可能不再需要方向盤，乘客可以躺在座椅上并控制汽車，同時也不需要佩戴任何設備。

Kouider表示，“如果使用較小的版本，將NextMind的設備后置在AR頭顯設備的頭帶上，它將成為一個很好的潛在應用場景。用戶可以將其與手勢配合使用，還可以將其與眼動追蹤配合使用。”

Kouider提到的另一個應用場景是神經監測。比如飛機出現了故障，警報響起，但飛行員沒有注意到也沒有做任何反饋，NextMind的設備就可以檢測到這一情況，并據此調整警報，讓它更加明顯。“但是對我們而言，重要的是進行控制，而不是監視，為此我們也在不斷優化算法讓它更快。”

“我們最主要的成就是第一次實現了實時的大腦互動，” Kouider說。“不過用不了三四年，我就可以閉上眼睛思考一下我的妻子和孩子，他們的照片就會顯示在屏幕上，這樣的場景已經不遠了。從理論上這行得通，只是需要對神經信號更進一步的處理。雖然我們知道大腦運行的原理，但是一旦涉及到要實時處理，就會變得非常棘手。”

結語：腦機接口已進入應用場景探索階段

NextMind此次推出的腦機接口設備，不僅讓“用思維實現控制”這一概念落地為具體產品，更讓我們看到了許多具有很高潛力的應用場景。此次開發套件的發布也為開發者和制造商們提供了一個共同探索的機會。

不過我們也可以看到，當前的腦機交互功能還比較初級，硬件性能和軟件算法都有一定的提升空間。

人腦神經的相關研究因機器學習技術的發展得到了顯著加速，腦機接口也進入了應用場景的探索階段。NextMind的展示，讓我們看到了從前幾乎“不敢想象”的畫面，科幻電影里的場景離我們似乎也不再那么遙遠。

文章來源：Venturebeat