紐約長島的芬斯坦醫(yī)學(xué)研究所(Feinstein Institute for Medical Research)的腦外科醫(yī)生Ashesh Mehta博士。今天他和往常一樣對(duì)他的癲癇患者進(jìn)行手術(shù)，尋找癲癇發(fā)作的源頭。不過這一次，他的患者同意加入一項(xiàng)大膽的科學(xué)實(shí)驗(yàn)，這一實(shí)驗(yàn)的最終目的是將無聲的思想轉(zhuǎn)化為有聲的語言。

在打開患者顱骨，暴露大腦之后，Mehta博士小心翼翼地將一片微電極矩陣貼在了患者大腦左側(cè)，那些與傾聽和產(chǎn)生言語相關(guān)的腦區(qū)。通過紀(jì)錄這一腦區(qū)的電生理活動(dòng)，并且將這些信號(hào)通過無線信號(hào)傳遞給計(jì)算機(jī)進(jìn)行解碼，這些微電極和系統(tǒng)的其余部分可能成為第一個(gè)處理語言信息的“大腦計(jì)算機(jī)界面”(BCI)。

如果一切順利，它可能攀越這一領(lǐng)域的珠穆朗瑪峰：開發(fā)一種讓脊髓損傷、鎖定綜合癥、肌萎縮側(cè)索硬化癥(ALS)等癱瘓患者再度發(fā)出自己聲音的大腦計(jì)算機(jī)界面。

這一技術(shù)不需要讓患者具備表演莎士比亞話劇的能力。得益于神經(jīng)科學(xué)、工程學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展，越來越多的專家們認(rèn)為一個(gè)能夠解讀患者想表達(dá)的“是”、“否”、“餓”、“痛”或“水”這些字的系統(tǒng)即將出現(xiàn)。

“我們相信我們對(duì)大腦編碼‘無聲言語’的信號(hào)有足夠的了解，不久的將來，我們能夠制造出一些有實(shí)用性的產(chǎn)品，”加州大學(xué)伯克利分校的Brian Pasley博士說：“即使它們帶來的改善不大，對(duì)于患者來說也將是非常有意義的。我確信這是可能的。”

第一個(gè)大腦計(jì)算機(jī)界面能夠讀出運(yùn)動(dòng)皮層與指揮運(yùn)動(dòng)相關(guān)的電信號(hào)，然后通過軟件將這些信號(hào)轉(zhuǎn)化為操作計(jì)算機(jī)鼠標(biāo)或者機(jī)械臂的指令。在2016年，匹茲堡大學(xué)的科學(xué)家們更進(jìn)一步，將感受器裝在用意念控制的機(jī)械臂上，這樣機(jī)械臂可以產(chǎn)生觸覺。

雖然大腦計(jì)算機(jī)界面最初出現(xiàn)時(shí)吸引了很多人的目光，但是在第一個(gè)原型機(jī)出現(xiàn)后的10多年里，大腦計(jì)算機(jī)界面的研發(fā)進(jìn)展并不順利。很多項(xiàng)目在最初的興奮期過去之后半途夭折。大多數(shù)系統(tǒng)需要笨重的電纜，以及裝在大箱子里的信號(hào)分析儀和其它電子設(shè)備。而且，目前的大腦電極只能維持幾年不壞，這意味著患者需要重復(fù)接受大腦手術(shù)。目前的BCI系統(tǒng)在實(shí)驗(yàn)室環(huán)境下的表現(xiàn)雖然還可以，但是它們的可靠性還不足以在現(xiàn)實(shí)世界中使用。匹茲堡大學(xué)的Jennifer Collinger博士說。

而解讀語言的BCI面臨的挑戰(zhàn)更多。解讀大腦想說的一個(gè)詞需要分析更多的信號(hào)，而且與語言相關(guān)的腦區(qū)還沒有被精確確認(rèn)。最主要的挑戰(zhàn)是，語言的編碼分散在一個(gè)廣闊的大腦網(wǎng)絡(luò)里，目前的記錄技術(shù)還不能以足夠高的時(shí)空分辨率，對(duì)整個(gè)大腦進(jìn)行監(jiān)控。日內(nèi)瓦大學(xué)的Stephanie Martin博士說。她去年因?yàn)閷?duì)語言BCI的研究獲獎(jiǎng)。

目前用來幫助癱瘓，ALS或者由于其它原因無法說話的輔助科技操作起來并不“自然或者直觀”，Martin女士說?，F(xiàn)有的系統(tǒng)讓他注視屏幕上的英文字符，然后在頭皮中的電極能夠感知編碼眼睛運(yùn)動(dòng)和位置的腦電波，找出選擇的英文字符來拼出詞句，然后語音合成器可以把這些詞句讀出來。已故理論物理學(xué)家，身患ALS的斯蒂芬霍金先生使用的就是與之相似的系統(tǒng)?？茖W(xué)家們認(rèn)為，通過“直接探索與語言相關(guān)的神經(jīng)活動(dòng)”，他們可以做得更好，Martin博士說。

在2007年，波士頓大學(xué)的計(jì)算神經(jīng)學(xué)家Frank Guenther博士制造了第一款語言BCI。它使用植入到一名鎖定綜合癥患者大腦中的電極來接收運(yùn)動(dòng)皮層指導(dǎo)說話的指令。研究人員發(fā)現(xiàn)了當(dāng)患者想要發(fā)出特定音素時(shí)與舌頭、嘴唇、喉嚨、上下顎和臉頰的運(yùn)動(dòng)相關(guān)的電信號(hào)。為了加快這項(xiàng)研究的進(jìn)展，Guenther博士的合作者，神經(jīng)生物學(xué)家Phil Kennedy博士，甚至冒著大腦受損的風(fēng)險(xiǎn)，2014年在自己的大腦中植入了電極和收發(fā)器。雖然這項(xiàng)實(shí)驗(yàn)因?yàn)槎喾N原因沒能取得很大的進(jìn)展，但是更多的神經(jīng)科學(xué)家開始和電子工程師合作開發(fā)和改進(jìn)構(gòu)建這一系統(tǒng)所需的植入電極、解碼器和語音合成器。

“從今天的標(biāo)準(zhǔn)來看，我在2007年建立的系統(tǒng)就太原始了。我認(rèn)為阻礙語言BCI進(jìn)展的問題終有一天可以被解決。”Guenther博士說。

哥倫比亞大學(xué)的電子工程師Nima Mesgarani博士同樣抱有這樣的期待，他領(lǐng)導(dǎo)的一項(xiàng)研究試圖通過從文章最初Mehta博士移植的電極接受的信號(hào)中重建語言。

這類系統(tǒng)可能成功的原因是，人類的大腦對(duì)想象和現(xiàn)實(shí)之間的區(qū)分不是那么明確。當(dāng)大腦想象一件事時(shí)，神經(jīng)活動(dòng)的特征跟真正做這件事時(shí)的神經(jīng)活動(dòng)極為相似。在大腦中想象一塊南瓜餅在視覺皮層中產(chǎn)生的神經(jīng)活動(dòng)，跟看到一塊南瓜餅非常類似，相像投籃的動(dòng)作能夠激發(fā)跟實(shí)現(xiàn)投籃動(dòng)作類似的神經(jīng)活動(dòng)。

“出聲的說話和無聲的說話之間也有類似的關(guān)系，在大腦中演習(xí)想說的話雖然沒有動(dòng)嘴唇和舌頭，但是能夠引發(fā)與實(shí)際說話相同的大腦活動(dòng)，”Mesgarani博士說。

這讓收集電信號(hào)的傾聽系統(tǒng)能過夠重建無聲的說話，雖然它們的結(jié)果并不完美。Martin博士與Pasley博士在伯克利大學(xué)進(jìn)行的一項(xiàng)研究將電極放在參與者的大腦中，然后讓他們想象大聲讀出一系列詞語，比如“牛仔”，“游泳”，“蟒蛇”和“電話”等等。不幸的是，軟件從大腦信號(hào)中解讀詞語的準(zhǔn)確性只比扔硬幣的概率稍微高一點(diǎn)。

伯克利大學(xué)的研究提供了這種策略的概念驗(yàn)證，但是通常“由大腦信號(hào)重建的語言的可讀性都很差，”Mesgarani博士說：“我們?cè)噲D克服可讀性的障礙。”而解決這個(gè)問題的最好方法是使用機(jī)器學(xué)習(xí)，訓(xùn)練軟件來解釋大腦聽到出聲的語言時(shí)的反應(yīng)，自動(dòng)糾正錯(cuò)誤，然后逐漸改進(jìn)。

為了驗(yàn)證他的想法，Mesgarani博士與Mehta博士合作，募集了5位癲癇患者加入了這項(xiàng)研究。在他們接受手術(shù)時(shí)，Mehta博士將一個(gè)微電極矩陣貼在聽覺皮層的兩個(gè)與識(shí)別語言相關(guān)的腦區(qū)。這兩個(gè)腦區(qū)會(huì)處理語言的音量、腔調(diào)、音頻、音素等重要信息。

志愿者們?nèi)缓舐爠e人讀出數(shù)字(1，2，3…)和講故事。他們聽覺皮層產(chǎn)生的電生理活動(dòng)會(huì)被微電極矩陣收集，然后送到Mesgarani研究團(tuán)隊(duì)設(shè)計(jì)的一個(gè)“深度神經(jīng)網(wǎng)絡(luò)”人工智能系統(tǒng)中。這個(gè)人工智能系統(tǒng)的作用是分析這些神經(jīng)信號(hào)，然后猜測這些神經(jīng)信號(hào)對(duì)應(yīng)的是哪些詞語，再將這些詞語送給語音合成器大聲說出來。

整個(gè)過程好像將一本中國菜譜翻譯成英文再翻譯回來：最后的結(jié)果和原文一點(diǎn)都不像。這是以前語言BCI研究的結(jié)果，一串無法解讀的音符。

對(duì)Mesgarani團(tuán)隊(duì)設(shè)計(jì)系統(tǒng)的檢測是，經(jīng)過他們的BCI系統(tǒng)處理播放出的語言和最先志愿者聽到的故事和數(shù)字有沒有相似之處。他們?nèi)〉昧顺晒?，可讀性達(dá)到了75%，這與以前的語言BCI剛剛過半的可讀性相比是非常大的進(jìn)步。

如果讓志愿者多次聽同一句話，然后將所有的神經(jīng)反應(yīng)綜合分析，會(huì)進(jìn)一步提高重建語言的準(zhǔn)確率，在微電極矩陣中添加更多的電極也能夠提高重建語言的準(zhǔn)確率。

下一步，研究人員將檢驗(yàn)這一人工智能系統(tǒng)解讀大腦想象語言時(shí)產(chǎn)生的電活動(dòng)的能力。Mesgarani博士說：“以前的研究表明我們能夠接收到這些信號(hào)，如何將這些信號(hào)重建成為發(fā)聲的語言是問題的瓶頸。利用人工智能改善解讀電信號(hào)的能力，可以幫助我們構(gòu)建一個(gè)從大腦神經(jīng)活動(dòng)中重塑準(zhǔn)確和可讀的語言的框架。”最終新一代的人類與計(jì)算機(jī)的互動(dòng)系統(tǒng)能夠幫助癱瘓和鎖定綜合征患者。

這項(xiàng)技術(shù)雖然可能最初的目的是幫助殘障患者，但是它可能會(huì)普及到其它人，甚至有可能在健康人身上先得到應(yīng)用。在2017年麻省理工學(xué)院召開的神經(jīng)科技會(huì)議上，F(xiàn)acebook的Mark Chevillet博士描述了該公司對(duì)“從念頭到打字”的BCI研究，這項(xiàng)研究的指導(dǎo)理念源于一個(gè)想法“如果你能夠直接用大腦打字的話會(huì)是什么樣子?”

如果可以直接用大腦輸出文字，比打字更快，會(huì)是什么樣？

這一項(xiàng)目的目標(biāo)是“開發(fā)一種無聲的語言界面，讓你能夠以比打字快5倍的速度輸出文字，大約每分鐘100個(gè)詞。”該公司在研究能否用非侵入性的方法來收集高質(zhì)量的神經(jīng)信號(hào)并且將它們正確解碼成為音素。如果這一步能夠成功，那么下一步是將這些信號(hào)輸入到一個(gè)數(shù)據(jù)庫中，將音素順序與詞語配對(duì)，然后使用軟件預(yù)測這些信號(hào)最可能代表哪些詞語。

“這不是科學(xué)幻想。”Chevillet博士對(duì)會(huì)議參與者說。