語言是人類思維的媒介，是人與人之間溝通的主要形式，腦卒中、腦腫瘤、腦脊髓外傷、肌萎縮性脊髓側(cè)索硬化癥（又稱“漸凍癥”）等重大腦疾病可能造成語言功能障礙，我國約有800萬病人因這些疾病而失去語言能力。國際上應(yīng)用腦機(jī)接口技術(shù)已實(shí)現(xiàn)英語、西班牙語等西方語言合成。漢語作為世界上使用人口最多的語言，在聽說讀寫各方面具有特殊性。如何針對漢語言神經(jīng)編解碼機(jī)制的特異性實(shí)現(xiàn)漢語合成是當(dāng)前漢語言腦機(jī)接口重大挑戰(zhàn)。

最新研究成果

近日，中國科學(xué)院上海微系統(tǒng)所傳感器技術(shù)全國重點(diǎn)實(shí)驗(yàn)室周志濤研究員團(tuán)隊(duì)與復(fù)旦大學(xué)附屬華山醫(yī)院吳勁松主任醫(yī)師團(tuán)隊(duì)、上海腦虎科技有限公司陶虎研究員團(tuán)隊(duì)合作，于國際上首次實(shí)現(xiàn)腦機(jī)接口實(shí)時(shí)漢語解碼和語句合成。項(xiàng)目團(tuán)隊(duì)針對漢語解碼開發(fā)了256導(dǎo)高通量柔性腦機(jī)接口和實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)解碼算法，利用該系統(tǒng)，受試者訓(xùn)練九天后，394個(gè)漢語音節(jié)（漢語音節(jié)總共400個(gè)左右，解碼未覆蓋音節(jié)為生僻音節(jié)且受試者不認(rèn)識）純神經(jīng)解碼平均準(zhǔn)確率71.2%，單音節(jié)解碼延時(shí)65 ms，實(shí)時(shí)漢語語句解碼速率49.6字/分鐘。相關(guān)研究成果以“Real-time decoding of full spectrum Chinese using brain-computer interface”為題，發(fā)表在《科學(xué)·進(jìn)展》（Science Advances）上，并被Science著專文報(bào)道“Researchers ‘decode’ Mandarin Chinese from neural signals - Advances in brain-computer interfaces could help millions who use tonal languages speak again after stroke or disease”

關(guān)鍵技術(shù)

研究團(tuán)隊(duì)選取了一位語言區(qū)占位的腫瘤癲癇患者作為研究參與者，在幫助患者定位癲癇病灶的同時(shí)進(jìn)行語言解碼任務(wù)。植入電極覆蓋了顳中回、顳上回及腹側(cè)感覺運(yùn)動(dòng)皮層等語言解碼相關(guān)腦區(qū)，實(shí)現(xiàn)了對漢語單字與句子任務(wù)下高通量神經(jīng)信號的高質(zhì)量記錄。通過構(gòu)建多級實(shí)時(shí)解碼數(shù)據(jù)流，以50毫秒滑窗精準(zhǔn)提取High-γ頻段（70-170 Hz）活動(dòng)，對齊神經(jīng)信號與語音起始點(diǎn)，并驅(qū)動(dòng)雙流解碼器同步生成音節(jié)與聲調(diào)概率分布，最終融合語言模型進(jìn)行束搜索，實(shí)現(xiàn)了實(shí)時(shí)輸出漢語語句。基于實(shí)時(shí)漢語解碼技術(shù)，結(jié)合自主研發(fā)的通用型腦機(jī)操作系統(tǒng)，受試者實(shí)現(xiàn)了驅(qū)動(dòng)數(shù)字分身、對話人工智能大模型，并能將人的腦電解碼成語言進(jìn)而轉(zhuǎn)化成指令實(shí)時(shí)操控靈巧手實(shí)現(xiàn)人機(jī)交互。

實(shí)時(shí)漢語解碼腦機(jī)接口系統(tǒng)框架和電極貢獻(xiàn)度表征

論文第一作者為華山醫(yī)院博士生錢友坤和上海微系統(tǒng)所博士后劉昶江，通訊作者為華山醫(yī)院吳勁松主任醫(yī)師和上海微系統(tǒng)所周志濤研究員。該研究工作得到了中國科學(xué)院青年創(chuàng)新促進(jìn)會(huì)優(yōu)秀會(huì)員（Y2023070）、上海市科技創(chuàng)新行動(dòng)計(jì)劃腦機(jī)接口項(xiàng)目（24DP3200100）、復(fù)旦大學(xué)人工智能專項(xiàng)基金（IDF151075）、上海市白玉蘭浦江計(jì)劃（24PJD134）等項(xiàng)目的支持。

論文鏈接：https://www.science.org/doi/10.1126/sciadv.adz9968