|
今天，加州大學(xué)舊金山分校（UCSF）和Facebook（FB.US）在Nature Commuications上發(fā)表的一項(xiàng)研究顯示： 他們?cè)凇胺侵踩胧健钡拇┐髟O(shè)備上取得了最新進(jìn)展，構(gòu)建出了一個(gè)大腦-計(jì)算機(jī)系統(tǒng)，能準(zhǔn)確解碼佩戴設(shè)備的人聽(tīng)到和說(shuō)出詞語(yǔ)和對(duì)話(huà)，實(shí)時(shí)從大腦信號(hào)中解碼。 也就是說(shuō)，在這種腦機(jī)接口面前，你的所思所想已無(wú)處遁形，F(xiàn)acebook已經(jīng)讓意念打字成為了現(xiàn)實(shí)。 此前，馬斯克的腦機(jī)接口公司Neuralink也發(fā)布過(guò)腦機(jī)接口系統(tǒng)，但這種植入式的設(shè)備需要向大腦中植入3000多個(gè)電極，以此來(lái)檢測(cè)神經(jīng)元的活動(dòng)，但非植入式的設(shè)備就免去了復(fù)雜的植入步驟。 研究人員表示，目前對(duì)生成和感知的兩部分語(yǔ)言進(jìn)行解碼，準(zhǔn)確率超出了他們的想象，分別能達(dá)到61%和76%的準(zhǔn)確率。 這項(xiàng)項(xiàng)目對(duì)于正常人和殘疾人來(lái)說(shuō)，都具有實(shí)用意義。 比如，你可以將思維直連到語(yǔ)音助手siri，查詢(xún)天氣、搜索信息不用直接喊出來(lái)了。 研究人員之一、加州大學(xué)舊金山分校神經(jīng)外科醫(yī)生Edward Chang表示，這是向神經(jīng)植入物邁出的重要一步，因?yàn)橹酗L(fēng)，脊髓損傷或其他疾病而失去說(shuō)話(huà)能力的患者，有望因此獲得自然交流的能力 。 如何意念轉(zhuǎn)語(yǔ)音 這項(xiàng)成果來(lái)自Facebook Reality Labs，一直與加州大學(xué)舊金山分校合作開(kāi)展這項(xiàng)腦機(jī)接口的研究。 Facebook的設(shè)想是，設(shè)計(jì)一種可以將大腦信號(hào)轉(zhuǎn)換成語(yǔ)言的裝置，不需要?jiǎng)趧?dòng)任何一塊肌肉，深度學(xué)習(xí)就能直接讀懂大腦，解碼腦中所想，實(shí)現(xiàn)流暢交流。 為了進(jìn)行試驗(yàn)，研究人員此前還招募了五名在醫(yī)院接受癲癇治療的志愿者。 他們先是從高密度皮層活動(dòng)中提取相關(guān)信號(hào)特征。志愿者們說(shuō)了上百句話(huà)，而通過(guò)植入性大腦皮層電圖（ECoG），研究人員可以跟蹤控制語(yǔ)言和發(fā)音的大腦區(qū)域的活動(dòng)，并將這些活動(dòng)與志愿者說(shuō)話(huà)時(shí)嘴唇、舌頭、喉部和下顎的微妙運(yùn)動(dòng)聯(lián)系起來(lái)，然后將這些運(yùn)動(dòng)學(xué)特征翻譯成口語(yǔ)句子。 研究人員采用bLSTM（bidi-rectional long short-term memory）循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)破譯ECoG信號(hào)表達(dá)的運(yùn)動(dòng)學(xué)表征。 接著用另外一個(gè)bLSTM解碼先前破譯的運(yùn)動(dòng)學(xué)特征中的聲學(xué)特征。 在這個(gè)過(guò)程中，兩個(gè)神經(jīng)網(wǎng)絡(luò)都會(huì)被投喂訓(xùn)練數(shù)據(jù)，以提高它們的解碼性能。 在今年的四月份，利用這樣的方法，F(xiàn)acebook已經(jīng)實(shí)現(xiàn)了以每分鐘150詞的速度幫你說(shuō)出所思所想。 而在這篇最新的論文Real-time decoding of question-and-answer speech dialogue using human cortical activity中，他們?cè)诖饲把芯炕A(chǔ)上，研究人員想進(jìn)一步提高精度。 大多數(shù)語(yǔ)音解碼的工作原理是對(duì)一個(gè)人在想什么聲音做出最佳猜測(cè)，在解碼過(guò)程中可能會(huì)被“synthesizer”和“fertilizer”這類(lèi)發(fā)音相似的單詞混淆。 但Facebook的新系統(tǒng)增加了上下文信息來(lái)幫助區(qū)分這些單詞。 首先，這個(gè)算法預(yù)測(cè)從一組已知問(wèn)題中聽(tīng)到的問(wèn)題，比如“你在一塊土地上撒了什么?”然后，這些信息作為上下文來(lái)幫助預(yù)測(cè)答案：“肥料”（fertilizer）。 Edward Chang表示，通過(guò)添加上下文，這個(gè)系統(tǒng)能夠用的指定問(wèn)題和答案解碼感知（聽(tīng)到）的語(yǔ)音準(zhǔn)確率達(dá)到76%，解碼產(chǎn)生（口頭）的語(yǔ)音準(zhǔn)確率達(dá)到了61%。 Facebook表示，未來(lái)將擴(kuò)大系統(tǒng)的詞匯量，讓其能適用在更廣泛的領(lǐng)域。 緣起兩年前 Facebook早在兩年前，就開(kāi)始著手這個(gè)項(xiàng)目了。 2017年4月，F(xiàn)acebook旗下的前沿產(chǎn)品研發(fā)團(tuán)隊(duì)Building 8負(fù)責(zé)人Regina Dugan宣布，這家社交網(wǎng)絡(luò)公司將在未來(lái)兩年內(nèi)，開(kāi)發(fā)出一個(gè)能以每分鐘100字的速度從人腦向外傳輸語(yǔ)句的“帽子”。 Facebook設(shè)想中的“帽子”，是用來(lái)分享你的思維的。此前清華大學(xué)也做過(guò)類(lèi)似概念的研究，頭戴一個(gè)小巧的電極帽，控制屏幕軟鍵盤(pán)上的26個(gè)字母就能打出任何語(yǔ)句。 Facebook最終計(jì)劃，是想打造一款A(yù)R眼鏡。 Facebook AR/VR業(yè)務(wù)副總裁Andrew “Boz” Bosworth表示，這個(gè)項(xiàng)目的初衷，是想構(gòu)建一個(gè)非侵入式可穿戴設(shè)備，讓人們只想通過(guò)想象他們想說(shuō)什么來(lái)打字，展示未來(lái)對(duì)AR眼鏡的投入和互動(dòng)成為現(xiàn)實(shí)的潛力。 `4 j8 t' b2 v9 O
| 
發(fā)表于 2019-7-31 15:00:14
QQ好友和群
QQ空間
