通過侵入式腦機接口解析運動區神經信號,將腦海中的動作軌跡傳輸給機械臂,從而控制機械臂寫出漢字……在浙江杭州,70多歲高齡的高位截癱患者張大伯,實現了重新寫字的愿望。
不久前,浙江大學求是高等研究院攜手浙江大學醫學院附屬第二醫院神經外科,聯合發布了一項研究成果:在全球范圍內,首次實現侵入式腦機接口控制機械臂書寫漢字。
近年來,利用腦機接口技術,幫助截癱患者開發腦控功能的研究成果逐漸增多。這些成果涉及腦電信號采集、傳輸和解碼等一系列復雜過程。不同于抓取、握持等大關節運動,漢字書寫是一種精細運動,每個人在偏旁、部首、筆順等方面有各自的書寫習慣,因此漢字書寫的信號解碼難度不言而喻。
由淺入深破譯腦電信號
浙江大學腦機調控臨床轉化研究中心神經疾病分中心主任、浙江大學醫學院附屬第二醫院神經外科教授張建民表示,在腦機接口領域,基本不會有國外科研團隊研究漢字書寫,國內已經實現的腦控中文表達主要利用鍵盤輸入,此次團隊挑戰的是筆畫筆順軌跡解碼的難題。
自2006年起,浙江大學腦機接口團隊就開展腦機接口前沿交叉研究,于2012年完成在猴子大腦運動皮層植入電極并解碼勾、抓、捏、握等精確手勢的研究,2014年完成在臨床病人顱內植入電極,解碼石頭、剪刀、布等動作的研究。
2019年,遭遇車禍導致高位截癱的張大伯參與浙江大學腦機接口研究項目,進行了侵入式腦機接口的植入手術。此后,他通過腦控機械設備,完成了舉杯喝水、抓取食物、操縱鼠標等動作。
據了解,在張大伯大腦運動皮層的手部控制區域,科研人員植入了兩個長寬均為4毫米的電極。單個電極中,有96根電極絲負責信號采集。
“兩個電極加起來,相當于有192個信號通道,捕捉大腦神經元的活動。”浙江大學腦與腦機融合前沿科學中心研究員祁玉接受記者采訪時介紹,神經元活動產生動作電位,負責控制運動過程。
解碼腦電信號,需要由淺及深。
祁玉說,團隊前期圍繞大關節運動進行的信號解碼工作,不能照搬到漢字書寫這種精細運動上。人類日常生活、學習,常常會用到精細運動。因此破譯相關信號機制,是腦機接口研究必須跨越的一座山。
從開始腦控漢字書寫研究,到真正達成目標,團隊用了2年左右的時間。
2021年,美國斯坦福大學研究人員在《自然》發文,宣布其首次破譯了與手寫書信相關的大腦活動,并結合AI算法,讓高位截癱患者腦控機械設備書寫英文。
“英文是基于26個字母的排序,而漢字則由結構、筆畫組成。客觀來說,這意味著利用腦機接口識別漢字的難度更高。”浙江大學醫學院附屬第二醫院神經外科副主任、功能神經外科組組長朱君明說。
解碼每個筆畫的神經元編碼方式
中國古代四大發明之一的活字印刷術,會將單字模塊挑出來,根據文稿排列組合,列在字盤內涂墨印刷。
漢字書寫的腦電信號機制和活字印刷有異曲同工之妙。
團隊研究發現,從神經元發放的角度看,漢字書寫的過程,并非一氣呵成,而是不同狀態連續轉換的過程。
“這項研究中,團隊大部分時間是在琢磨漢字書寫過程中神經元的編碼方式。”祁玉介紹,通俗地講,針對每一筆畫,人都有習慣性動作,在大腦內有相應的神經元活動模式。當寫到某一筆時,對應的神經元就發放,這和人們從學習寫字開始,長年累月養成的習慣有關。
她介紹,獲得這一發現后,團隊要做的就是解碼腦電信號,開發算法模型,將其轉化為機械設備可接收的動作軌跡程序指令。
此次研究中,團隊挑選100個常用漢字,協助志愿者張大伯進行書寫訓練,解碼其書寫不同漢字、筆畫的手部運動軌跡,再通過機械臂還原手部運動軌跡,準確率在90%以上。
“100個漢字,基本包含了漢字中的絕大多數筆畫。”祁玉表示,在確保腦電信號質量的前提下,基于此次研究的成果,如信號讀取、神經編解碼機制、計算模型等,團隊有信心在幾周之內,讓有需要的患者實現腦控寫字。
“通常兩三歲的小孩,就可以做抓取、握持的動作,但是還要再年長一些,才能順暢地寫字。”祁玉表示,從這個角度看,從解碼大關節運動到解碼精細運動,腦機接口技術也“成長”了不少。
多項腦機接口研究正在開展
“很多復雜的手部精細運動或許是互通的,能拆分成多個動作序列,有待更多科研人員解碼、破譯。”祁玉直言,需要正視的是,團隊的此次研究只是通過解碼漢字書寫過程,窺探了大腦控制精細運動的一小部分奧妙,并不能應用于所有的精細運動。
她認為,腦機接口“解鎖”更多精細動作,會是一個長期接力的過程。
在張建民看來,腦機接口研究對偏癱、截癱、失語、漸凍癥患者的臨床治療和康復具有重要意義。不同類型的患者,對重建身體功能的需求也有所不同。
為此,該團隊正嘗試開展多項腦機接口研究。“比方說,對后天失語人群而言,要提升生活質量,相比書寫,開口說話會更加方便。”祁玉說。
2023年8月,美國加州大學舊金山分校和斯坦福大學的科研團隊分別在《自然》發表的研究論文稱,通過翻譯神經信號,可讓失語患者借助語音合成軟件“念出”文本。
“張嘴說話需要調動面部肌肉,其精細程度不會比手寫漢字低。”祁玉說,團隊尚在招募合適的志愿者,期待通過腦機接口,讓失語人群用“意念”說中文。
通過侵入式腦機接口解析運動區神經信號,將腦海中的動作軌跡傳輸給機械臂,從而控制機械臂寫出漢字……在浙江杭州,70多歲高齡的高位截癱患者張大伯,實現了重新寫字的愿望。
不久前,浙江大學求是高等研究院攜手浙江大學醫學院附屬第二醫院神經外科,聯合發布了一項研究成果:在全球范圍內,首次實現侵入式腦機接口控制機械臂書寫漢字。
近年來,利用腦機接口技術,幫助截癱患者開發腦控功能的研究成果逐漸增多。這些成果涉及腦電信號采集、傳輸和解碼等一系列復雜過程。不同于抓取、握持等大關節運動,漢字書寫是一種精細運動,每個人在偏旁、部首、筆順等方面有各自的書寫習慣,因此漢字書寫的信號解碼難度不言而喻。
由淺入深破譯腦電信號
浙江大學腦機調控臨床轉化研究中心神經疾病分中心主任、浙江大學醫學院附屬第二醫院神經外科教授張建民表示,在腦機接口領域,基本不會有國外科研團隊研究漢字書寫,國內已經實現的腦控中文表達主要利用鍵盤輸入,此次團隊挑戰的是筆畫筆順軌跡解碼的難題。
自2006年起,浙江大學腦機接口團隊就開展腦機接口前沿交叉研究,于2012年完成在猴子大腦運動皮層植入電極并解碼勾、抓、捏、握等精確手勢的研究,2014年完成在臨床病人顱內植入電極,解碼石頭、剪刀、布等動作的研究。
2019年,遭遇車禍導致高位截癱的張大伯參與浙江大學腦機接口研究項目,進行了侵入式腦機接口的植入手術。此后,他通過腦控機械設備,完成了舉杯喝水、抓取食物、操縱鼠標等動作。
據了解,在張大伯大腦運動皮層的手部控制區域,科研人員植入了兩個長寬均為4毫米的電極。單個電極中,有96根電極絲負責信號采集。
“兩個電極加起來,相當于有192個信號通道,捕捉大腦神經元的活動。”浙江大學腦與腦機融合前沿科學中心研究員祁玉接受記者采訪時介紹,神經元活動產生動作電位,負責控制運動過程。
解碼腦電信號,需要由淺及深。
祁玉說,團隊前期圍繞大關節運動進行的信號解碼工作,不能照搬到漢字書寫這種精細運動上。人類日常生活、學習,常常會用到精細運動。因此破譯相關信號機制,是腦機接口研究必須跨越的一座山。
從開始腦控漢字書寫研究,到真正達成目標,團隊用了2年左右的時間。
2021年,美國斯坦福大學研究人員在《自然》發文,宣布其首次破譯了與手寫書信相關的大腦活動,并結合AI算法,讓高位截癱患者腦控機械設備書寫英文。
“英文是基于26個字母的排序,而漢字則由結構、筆畫組成。客觀來說,這意味著利用腦機接口識別漢字的難度更高。”浙江大學醫學院附屬第二醫院神經外科副主任、功能神經外科組組長朱君明說。
解碼每個筆畫的神經元編碼方式
中國古代四大發明之一的活字印刷術,會將單字模塊挑出來,根據文稿排列組合,列在字盤內涂墨印刷。
漢字書寫的腦電信號機制和活字印刷有異曲同工之妙。
團隊研究發現,從神經元發放的角度看,漢字書寫的過程,并非一氣呵成,而是不同狀態連續轉換的過程。
“這項研究中,團隊大部分時間是在琢磨漢字書寫過程中神經元的編碼方式。”祁玉介紹,通俗地講,針對每一筆畫,人都有習慣性動作,在大腦內有相應的神經元活動模式。當寫到某一筆時,對應的神經元就發放,這和人們從學習寫字開始,長年累月養成的習慣有關。
她介紹,獲得這一發現后,團隊要做的就是解碼腦電信號,開發算法模型,將其轉化為機械設備可接收的動作軌跡程序指令。
此次研究中,團隊挑選100個常用漢字,協助志愿者張大伯進行書寫訓練,解碼其書寫不同漢字、筆畫的手部運動軌跡,再通過機械臂還原手部運動軌跡,準確率在90%以上。
“100個漢字,基本包含了漢字中的絕大多數筆畫。”祁玉表示,在確保腦電信號質量的前提下,基于此次研究的成果,如信號讀取、神經編解碼機制、計算模型等,團隊有信心在幾周之內,讓有需要的患者實現腦控寫字。
“通常兩三歲的小孩,就可以做抓取、握持的動作,但是還要再年長一些,才能順暢地寫字。”祁玉表示,從這個角度看,從解碼大關節運動到解碼精細運動,腦機接口技術也“成長”了不少。
多項腦機接口研究正在開展
“很多復雜的手部精細運動或許是互通的,能拆分成多個動作序列,有待更多科研人員解碼、破譯。”祁玉直言,需要正視的是,團隊的此次研究只是通過解碼漢字書寫過程,窺探了大腦控制精細運動的一小部分奧妙,并不能應用于所有的精細運動。
她認為,腦機接口“解鎖”更多精細動作,會是一個長期接力的過程。
在張建民看來,腦機接口研究對偏癱、截癱、失語、漸凍癥患者的臨床治療和康復具有重要意義。不同類型的患者,對重建身體功能的需求也有所不同。
為此,該團隊正嘗試開展多項腦機接口研究。“比方說,對后天失語人群而言,要提升生活質量,相比書寫,開口說話會更加方便。”祁玉說。
2023年8月,美國加州大學舊金山分校和斯坦福大學的科研團隊分別在《自然》發表的研究論文稱,通過翻譯神經信號,可讓失語患者借助語音合成軟件“念出”文本。
“張嘴說話需要調動面部肌肉,其精細程度不會比手寫漢字低。”祁玉說,團隊尚在招募合適的志愿者,期待通過腦機接口,讓失語人群用“意念”說中文。
本文鏈接:腦機接口技術讓截癱患者心想“字”成http://www.sq15.cn/show-2-6189-0.html
聲明:本網站為非營利性網站,本網頁內容由互聯網博主自發貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。
上一篇: 低質量系外行星大氣逃逸機制揭示