大多數的人對於腦機介面的了解大概是從 Elon Musk 的 Neurolink 開始。腦機介面是一個新興的技術,應用的層面非常廣,是相當值得期待的新科技。身為一個復健科醫師,腦機介面在復健領域的應用離普及在臨床實務上還有一段路要走,但剛好北榮的 Seminar 主題是腦機介面與復健醫學的應用,就趁這個機會介紹給大家。腦機介面 Brain Computer Interface, BCI 的開發是從工程端開始,應用在復健端自然就需要跨團隊的專業配合。因此,本篇文章不會針對工程端有太多的琢磨,如果有工程界的愛好者,也歡迎幫助補充。有錯誤也請大家幫指正。
腦機介面 BCI 簡介
腦機介面顧名思義就是大腦與機器或稱電腦之間連結的介面。整體而言的概念就是透過特定的偵測方式擷取大腦的訊號並且分析將其轉譯成電腦的指令,再透過電腦來操作外部的機器達到某種功能。我們可以簡單透過下面的圖片了解整個 BCI 的操作過程:
擷取訊號:擷取可以透過許多方式,包含但不限於腦電波、腦磁波、fMRI、fNIRS
處理訊號:訊號的處理就是工程端與醫療端的結合,在後面的部分會再說明
輸出訊號:訊號的輸出可以是回饋給大腦的視覺或聽覺刺激也可以是機器人手臂等
Zhuang M et al., 2020
BCI 的應用也不僅限於復健的領域,其實在日常生活中也會遇到許多可以透過 BCI 的事物,從下面的圖片可以了解在 2000 年以前 BCI 主要應用在一些輔具的控制、認知功能、學習與復健等等領域。到了 2010 年後開始更加的生活化,例如可以偵測情緒、精神狀態等等,並且可以結合生活性與娛樂性如輪椅的操作以及電玩等。到了 2020 年開始朝向多重的 BCI 介面整合,例如透過 BCI 進行溝通或是多人連線進行遊戲等等。
S Saha et al., 2021
BCI 的發展在近幾年越來越盛行,從下面的統計圖可以了解到這是一個正在發展當中的領域,每年的研究數量節節上升。
S Saha et al., 2021
事實上,國際間也有 BCI 專屬的社群,大約每隔 2-3 年會有世界性的會議,最近的一次就是在 2023 年的比利時布魯塞爾。
在這麼多年的 BCI 會議以來,2016 年第六屆的 BCI 也有學者針對復健的領域做了一些當年研究主題的回顧。有興趣的人可以參考一下,下面的這篇文獻。
BCI 於復健領域的應用
BCI 的應用不僅限於復健這個領域,但本文主要會以復健作為主軸。BCI 在復健中可以大概分為針對腦部疾病、脊髓損傷或是運動神經元疾病。許多的 BCI 應用方式是建立在大腦功能良好的狀況下,因為周邊神經的問題導致失能,透過 BCI 擷取大腦的訊號並操作外部的機器達到功能性的效果。然而,在大腦本身有損傷的患者上,BCI 也扮演有他的角色,這部分也是本文的重點。此外,在小兒領域內,例如注意力不集中與過動症等等,也可以夠過 BCI 來輔助。
BCI 於中風或神經復建的機轉
腦機介面在中風或是神經復健的機轉中主要可以分為兩個部分,其中一種模式是透過繞道的方式,繞過受損的部位直接性的將訊號傳遞到外部結構達到控制的效果。這樣的模式比較常見在脊髓損傷或是大腦功能完整的神經疾病(漸凍人)上,透過擷取大腦的訊號,可以控制外部的器械達到某些功能(溝通、打字、拿東西等等)。
除了繞道的方式外,另一種方式就是透過 BCI 來進行大腦本身的訓練。在中風過後,兩側腦區會有適應性的改變,患側的大腦的活性會下降,而健側大腦會抑制患側大腦的功能。透過 BCI 的訓練,可以降低這種大腦之間的不平衡,透過抑制健側促進患側來達到復健的效果。這樣的原理其實和經顱磁刺激很相似。但在某些損傷過於嚴重的狀態下,是否要抑制健側的大腦去代償患側就需要評估臨床狀態。
Pichiorri F et al., 2020
透過下面的圖便可以了解 BCI 應用於復健的不同模式。第一種稱之為 Brain to function 代表透過 BCI 擷取訊號並且經過訓練後直接性的強化輸出的信息以控制患側肢體。第二種 Brain to limb 的模式則是在擷取訊號之後透過外部的機器的協助(功能性電刺激、機器人手臂等)來協助控制患側的肢體。第三種則是 Brain to brain,意指透過非侵入性的腦刺激強化輸出的訊號,藉以達到控制患側的功能。
Pichiorri F et al., 2020
Sensory motor closed-loop 感覺運動回饋
人體在進行動作時除了輸出訊號控制肢體以外,動作之後的回饋在整個過程中也非常重要。透過動作後的回饋,身體才可以知道應該如何調整後續的動作。感覺回饋的形式有很多,一般可以包涵視覺、聽覺與本體感覺。在中風或神經疾病的患者身上,因為神經的受損,有些時候無法給予這樣的回饋。舉例來說,一個偏癱的患者就算腦袋裡想要讓患側移動,但實質上患側並沒有做出相對應的活動,所以在視覺與本體感覺上缺乏回饋。感覺回饋的重要性在復健的應用也可以在鏡像訓練中看到。
BCI 可以透過外部的機器協助肢體移動,讓患者實際有看到手部的動作,也可能透過直接性的刺激到大腦的相對部位,達到感覺的輸入,但這部分的研究還處在非常初期的階段。BCI 可以透過這些回饋強化患者在復健的參與並且提供即時性的回饋與資訊,甚至可以結合虛擬實境,讓患者可以有更多的感官體驗,協助整個復健的進行。在參與日常生活的面相中,對於中風或失能的患者其實很重要,不管藉由任何形式,只要能夠不假他人之手,這對患者的生活品質與尊嚴都有很大的幫助。這一點其實從臨床照護病人就可以略知一二,功能尚可的患者其實有很大的比例即便日常生活功能執行需要較久的時間,也會堅持自己執行,不想透過他人的協助。
Zhuang M et al., 2020
Hybrid BCI 混合型 BCI
BCI 的基本精神就是透過解讀並且擷取大腦的訊號再透過不同的形式進行功能性的復健或活動。因此,一個成功的 BCI 關鍵在於如何解讀與擷取大腦的訊號。一般來說,一些簡單的指令可能只需要擷取一個訊號即可,例如判斷這個字母是否是患者所想表達的字母,但如果牽涉到動作的輸出,那需要的訊號就會非常多。動作的精準性取決於可以有多少的自由度,一般來說如果是操作滑鼠或是簡單的機器手臂,可能只需要 2-4 個自由度(可以理解為 2-4 個訊號),但若是要達到手部的精細控制,那可能需要將近 22 個自由度才有辦法完成。
因此,現在也有許多的 BCI 為了能夠最大化的擷取訊號,會採用混合的接收形式,如下圖同時合併監控腦電波、眼睛的活動以及肌電訊號,透過這些訊號的組合來達到更好的控制。然而,在訊號的擷取上還是會遇到一些困難,以 EMG 舉例,如果抓到張力的訊號就要想辦法濾掉,因為這個是我們不希望呈現出來的動作,這也是在訊號擷取上會遇到的困難。
Chamola V et al., 2020 . Bockbrader MA et al., 2018
簡而言之,BCI 在中風領域內復健的目標會放在盡可能的恢復運動與認知功能、強化神經可塑性以達最大功能性的恢復。若真的無法恢復功能,也可以透過 BCI 擷取大腦訊號來達到日常生活功能最大化的目的。
BCI 的種類與分類
在簡介的部分已經有簡單帶到某些 BCI 的分類方式,其中幾個比較常見的形式包含訊號的擷取方式以及目的。在擷取方式上可以分為侵入性(腦內置放電極)與非侵入性(腦電波、肌電訊號等等)兩種。在目的上可以分為輔助性或復健性,輔助性代表希望透過 BCI 取代某些無法達到的功能,復健性則是透過 BCI 企圖恢復功能。然而,在這邊想要透過不同的分類方式,透過不同角度來進行說明。
Active BCI 主動性 BCI
主動性 BCI 代表由使用者自己直接性的去控制外部的物件,例如輪椅、機器手臂、電腦等等。這也是最常使用的 BCI 模式之一,不管是在脊髓損傷或是漸凍人等疾病都可以被使用。
Hramov AE et al., 2021
Reactive BCI 互動性 BCI
互動性的 BCI 和主動的差異在互動性 BCI 會有一個外部的刺激輸入,這個輸入可能是視覺或是聽覺的刺激。在這個輸入之後,BCI 會去分類使用者的需求並且做出相對應的輸出指令。以下圖為例,透過電腦螢幕顯示出一連串的字母,當移動到使用者想的字母時,大腦會出現特定的反應,BCI 就是透過擷取這樣的反應來判斷使用者的意志。如果是 Active BCI 就會是患者直接主動想一個字母,BCI 要直接擷取出這個訊號並且判定使用者的選擇。
Hramov AE et al., 2021
Passive BCI 被動性 BCI
被動性 BCI 主要是監測大腦目前的狀態,將這些狀態解析後提供給使用者一個感覺回饋。這類型的 BCI 比較常見或是和使用在一些認知功能的訓練上進行輔助。舉例來說,特定的腦電波可能代表專注度較高,passive BCI 會擷取出這段訊號,告知患者或是治療人員當下的狀態如何,是否有進入理想的訓練狀態。此外,也可以透過這種監測方式來達到治療效果的量化。這樣的使用邏輯不限於神經疾病的患者,在運動心理學領域也被使用在達到心流的訓練上。
Hramov AE et al., 2021
依照患者的功能不同,BCI 的使用目的也不太一樣,下圖的 Group 1 代表完全喪失運動功能的患者,例如漸凍人末期等,操作 BCI 的目的可能就是協助溝通與控制一些外部的儀器。在 Group 2 的患者代表上存在一些運動功能,只是能力相對薄弱,所以可以透過 BCI 進行復健與操作一些輔具。Group 3 的患者運動功能比 Group 2 更好,所以可以做的事情更多,有一些甚至囊括到日常生活的一些娛樂,這和健康人透過 BCI 操作家俱或電腦遊戲類似。簡而言之,隨著功能的不同,BCI 的應用也會有所不同。
Hramov AE et al., 2021
下面的表格則是以功能為取向,簡單的描述了目前 BCI 在復健上的使用。其中比較成熟的使用包含針對運動功能(功能性電刺激、機器人系統等等)、環境互動(智能傢俱)、構通與語言復健(失語症的患者)。在認知功能與感覺神經系統的復健還處於相對早期的階段。
Yang S et al., 2021
訊號擷取與分類 Feature Extraction and Classification
本文的重點其實是在介紹簡易的訊號擷取方式。訊號的擷取其實是工程端比較在行,但若醫療端沒有辦法給予一些資訊告知工程師應該要擷取哪些訊號,這些訊號代表的意義為何,那也無法達成一個完整的 BCI 系統。本段落主要參考下面的這份文獻,歡迎有興趣的人可以自行閱讀。
本文的訊號會以腦電波 EEG 為主要的介紹,EEG 的訊號擷取有經濟成本低且非侵入性的優點,但同時也有許多的雜訊問題,但 EEG 仍就是目前腦機介面最常被使用的訊號擷取方式。
腦電波 EEG 簡介
腦電波是透過在頭上擺放電極偵測大腦所放出來的電波。傳統上的腦波可以依照頻率區分為不同的類別,常見的有下圖中的:
Gamma:40-80 Hz 通常與視覺理解、記憶與問題解決有關
Beta:12-30 Hz 可以分為高頻與低頻,一般代表大腦處於警醒活化狀態
Alpha:8-12 Hz 通常代表大腦處於休息狀態
Mu:8-12 Hz 頻率範圍與 Alpha 相近但波形不同,通常代表運動想像 Motor imaginary
Theta:4-8 Hz 通常代表沒什麼雜念、自動化或是心流的狀態
Delta:0.5-4 Hz 通常代表深度的睡眠
Hramov AE et al., 2021
在這些波當中 Alpha、Mu 與 Beta 最常被拿來做分析,並且會根據不同腦區之間的同步性來判斷大腦訊號的意義,這部分後面會簡單講解。事實上除了以頻率進行分類以外,還可以透過波形等其他特徵來區分,例如看到 Spike wave 會懷疑可能有癲癇等等。這邊的腦波只是非常粗淺的簡介,如果有錯誤也歡迎指正。下表列出了一些在 BCI 中常常使用的一些腦波的特徵,透過這些特徵的擷取我們可以判斷大腦究竟想做出哪些動作或是想法。以下會簡單的以前三者作為舉例。除此之外,也可以注意到不同的訊號可以擷取出的指令數不同,有些可能需要訓練,有些可能不用,這些都是在 BCI 的訊號擷取與解讀上有著重要意義的特徵。
Hramov AE et al., 2021
Slow Cortical Potential, SCP
SCP 是一個短暫的腦波與一些事件有關,在事件後的約 300 ms 開始會持續到數秒鐘。SCP 的頻率大約都在 1 Hz 以下。一個負向的 SCP 通常代表大腦或神經處於比較活化的狀態,而一個正向的 SCP 則代表比較抑制的狀態。值得注意的是 SCP 是需要被訓練的,訓練的時間可能會長達數個月之久,a 圖代表一個正常人的狀態,在灰色區間後是一個事件的產生,可以看到有負向的 SCP。b 圖是漸凍人的患者,可以看到負向波形相對不明顯,但在經過數個月的訓練之後,就變成 c 圖,也就是比較接近正常人的狀態。
Hramov AE et al., 2021
Event-related Potential, ERP
ERP 代表經過一個事件後大腦在腦電波訊號的呈現上的特殊反應,ERP 有許多的類型或是訊號的特徵,例如:
Visual evoked potentials (VEPs)
P300 evoked potential
Event-related synchronization desynchronization (ERS/ERD)
Error potential (ErrP)
介紹的重點會擺在 P300 與 ERS 以及 ERD,但可以透過下面的影片簡單瞭解 VEPs 的應用。大腦對於不同頻率的視覺刺激會有不同的表現。下面的影片中可以看到透過不同數字以不同頻率閃現,當使用者注視某一個數字時,BCI 就可以擷取到這個訊號並且選擇相對應的數字。
P300 Evoked Potential
P300 是一個和決策有關的腦波訊號,通常發生在決策後的 300 ms,這個訊號意味著大腦針對外在刺激進行評估與分類,而最簡單的分類就是要或不要。最強的 P300 波通常會出現在 Parietal lobe 的位置。由於 EEG 的雜訊比很高,所以很難透過單一的一個測試就取得一個很好的 P300 波的訊號用於決定後續的訊號輸出,因此通常需要透過幾個不同步驟達到。下圖就是一個 P300 波的示意圖,可以看到在刺激輸入後會有一個波形的改變,兩者會有所不同是來自於訊號輸入的時間間隔不同。
Hramov AE et al., 2021
具體的應用上可以看下圖,透過亮起每一排字母,如果使用者想選取的字母有亮起,就會出現一個 P300 的波形,反之若沒有則不會有 P300 的波形,透過這樣的方式就可以選擇出相對應的字母。這樣的選擇方式即便眼睛無法移動也可以進行。右圖則是不同的呈現方式,透過一團一團的字母亮起來達到一樣的效果。
Hramov AE et al., 2021
Event-related synchronization desynchronization (ERS/ERD)
ERS 與 ERD 是大腦神經元同步性的表現,越同步在相同頻率的訊號疊加上就會在震幅上呈現比較大的振幅。當大腦想要做出某個動作時,通常會出現 Mu 波與 Beta 波的 ERD 配合 Delta 波的 ERS,透過這樣的特性就可以知道大腦想做什麼。從下面這張圖可以很簡單的理解 ERD 與 ERS 的應用,這邊擷取的頻段是 Mu 波,所以理論上在動作時 Mu 會出現 ERD。在下圖的左邊是代表左手在動的時候,可以看到右腦的 Mu 波出現明顯的 ERD。
Blankertz B et al., 2007
事實上,ERD 與 ERS 的用途非常廣,也有學者在研究 Motor Imaginary 的時間長短的不同是否會影響到 ERD 與 ERS 的關係。結論是有部分文獻看到不同,但還是需要更多研究來告訴我們精確的答案。
老實說,ERD 與 ERS 真的遠遠超出 Dr. M 的智能範圍,只能大概理解並且透過上述的陳述方式來表達,關於這個領域有興趣的可以參考下面的這篇文獻,應該會有許多收穫。
Multiscale Brain Activity
顧名思義代表著大腦整體的活性與功能,比較常使用的是 Sensorimotor rhythm, SMR,不過其他的腦電訊號也是可以被分析,主要可以了解大腦目前的認知功能以及心理狀態。
Sensorimotor Rhythm
這是一個在感覺運動皮質區所記錄到的腦電波訊號,通常頻率範圍會在 5-13 hz 之間。無論是實質上的動作或是透過意識驅動 Motor imaginary 都會改變 SMR 的波形。在執行動作或想像時會看到 Alpha 波與 Beta 波的下降,伴隨著 Gamma 波的上升,這樣的改變通常會發生在相對應得運動腦區。在 SMR 的應用上是需要患者學習,或者更精確地說是和機器彼此互相學習,下面兩張圖代表沒有經過學習與經過學習後的改變狀態。
Hramov AE et al., 2021
具體來說 SMR 的訓練應該如何執行呢?可以從下面的圖片簡單的理解。一開始很單純的是控制左右或上下的單一軸向移動,接下來進階到 XY 平面的移動,也就是可以同時往左或右移動。等到完成這個階段後就可以加入 3D 的軸向也就是 Z 軸的移動模式。
Yuan H et al., 2014
從下面的影片可以更清楚的看到整體的訓練過程,但這位患者是透過將電極植入在大腦表面,所以在訊號的偵測上會更加準確,但同時也要負擔一些手術相關的風險。
BCI 現有證據與未來展望
介紹完了 BCI 的基本概念與擷取訊號的方式後,究竟 BCI 在臨床實務上的效果如何?在看目前的文獻之前,從前面的介紹就可以了解到 BCI 相關研究的異質性一定很高,每一個實驗使用的訊號擷取方式可能都不一樣,有侵入性與非侵入性,非侵入性又可以分為不同的方式如常見的腦電波或是 fNIRS。在最終擷取出訊號後要用哪一種分析方式也不盡相同,是要使用 P300 還是用 ERS/ERD 都不太一樣。所以最終的效果也很難在現在這個時間點有一個明確的答案。下面簡單列舉一些統合性的文獻結論給大家,細節可以自己去文章內閱讀,但大致上來說都逃不了異質性過高的限制。
BCI 在中風後上肢復健的成果
這篇統合分析的結果是在上肢的功能性測試上有顯著的進步(SMD 0.79, 0.37 to 1.20 in FMA-UE),這邊的功能是以 Fugl Meyer 這個量表進行評估,算是 BCI 復健中蠻常被使用的量表。
BCI 結合 VR 的效果
前面的段落有提到 Sensorimotor closed loop 的重要性,而在臨床使用上 VR 就是一種很好的回饋。下面這篇敘述性的回顧雖然沒有給予量化的結果,但也指出了絕大多數的 BCI-VR 都使用三種訊號,分別是 Motor imagery、P300 與 VEF。使用 VR 和傳統的 BCI相比可以提供更好的回饋資訊給患者並且提升大腦功能的恢復。因此,BCI 結合 VR 確實是一個可行的模式。
使用腦波的 BCI 在中風復健的成效
下面這篇 2020 年的系統性回顧與統合分析算是近年比較完整的文獻,在這篇文獻中指出 BCI 訓練相較於傳統的復健治療可以在上肢的功能與大腦功能有顯著的進步。
下面三張圖表可以看到在上肢功能與大腦功能都有顯著進步,但是在下肢的功能上就沒有顯著差異。在大腦功能上使用的衡量標準很多,包含 Functional connectivity change indices、Attention index、Activation index 與 Lateralization index 等等。
在 2022 年有一篇新的統合分析,結果和上面的文獻差不多,在上肢的運動功能上相較於傳統復健有顯著的差異。
除了上肢功能在下圖左有明顯的差異以外,在子群分析上也提供了一些新的資訊,子群分析顯示透過 Sensorimotor rhythm 來進行 BCI 的訓練效果看起來是比較好的。
BCI 的未來展望
BCI 不可否認是復健領域的明日之星,但我們還是必須在基礎科學如神經生理學上有更多的了解。對於大腦科學的了解可以協助我們選擇與解讀大腦的訊號,當然訊號本身的質量也非常重要,所以好的監測技術與訊號紀錄是一個 BCI 介面不可或缺的要素。近幾年來人工智慧與機器學習的進展也可以和 BCI 的介面相輔相成,達到更好的復健效果。在復健中也有許多值得探討的問題,包含最適合介入的時機點以及哪一些患者(哪裡的受損)是最合適的候選人等等。最後,BCI 的可近性也是一個近年來亟欲發展的項目,目前的研究傾向使用 EEG 或 fNIRS 來進行訊號的監測與擷取。
總結
BCI 的發展不僅限於治療的用途,還可以當作一個評估功能性恢復的工具。將 BCI 結合傳統復健以達到一個完整的復健計畫是目前努力的目標。在復健的進展上,除了 BCI 本身的訓練外,也可以透過被動式的監控大腦訊號來評估大腦現在的狀態是否是最適合訓練的階段,在狀態準備完全時接受復健將可以預期有更好的效果。針對 BCI 的發展還是需要各個領域的專家共性自己的專業,透過專業間的合作與結合達到最好的效果。
Dr. M 我們下次見!
REFERENCES
1. Zhuang M, Wu Q, Wan F, Hu Y. State-of-the-art non-invasive brain–computer interface for neural rehabilitation: A review. Journal of Neurorestoratology. 2020;8(1):12-25.
2. Pichiorri F, Mattia D. Brain-computer interfaces in neurologic rehabilitation practice. Handbook of clinical neurology. 2020;168:101-16.
3. Chamola V, Vineet A, Nayyar A, Hossain E. Brain-computer interface-based humanoid control: A review. Sensors. 2020;20(13):3620.
4. Bockbrader MA, Francisco G, Lee R, Olson J, Solinsky R, Boninger ML. Brain computer interfaces in rehabilitation medicine. PM&R. 2018;10(9):S233-S43.
5. Hramov AE, Maksimenko VA, Pisarchik AN. Physical principles of brain–computer interfaces and their applications for rehabilitation, robotics and control of human brain states. Physics Reports. 2021;918:1-133.
6. Yang S, Li R, Li H, Xu K, Shi Y, Wang Q, et al. Exploring the Use of Brain-Computer Interfaces in Stroke Neurorehabilitation. BioMed Research International. 2021;2021.
7. Blankertz B, Tomioka R, Lemm S, Kawanabe M, Muller K-R. Optimizing spatial filters for robust EEG single-trial analysis. IEEE Signal processing magazine. 2007;25(1):41-56.
9. Pfurtscheller G, Da Silva FHL. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clinical neurophysiology. 1999;110(11):1842-57.
10. Yuan H, He B. Brain–computer interfaces using sensorimotor rhythms: current state and future perspectives. IEEE Transactions on Biomedical Engineering. 2014;61(5):1425-35.
11. Cervera MA, Soekadar SR, Ushiba J, Millán JdR, Liu M, Birbaumer N, et al. Brain‐computer interfaces for post‐stroke motor rehabilitation: a meta‐analysis. Annals of clinical and translational neurology. 2018;5(5):651-63.
12. Wen D, Fan Y, Hsu S-H, Xu J, Zhou Y, Tao J, et al. Combining brain–computer interface and virtual reality for rehabilitation in neurological diseases: A narrative review. Annals of physical and rehabilitation medicine. 2021;64(1):101404.
13. Kruse A, Suica Z, Taeymans J, Schuster-Amft C. Effect of brain-computer interface training based on non-invasive electroencephalography using motor imagery on functional recovery after stroke-a systematic review and meta-analysis. BMC neurology. 2020;20(1):1-14.
14. Nojima I, Sugata H, Takeuchi H, Mima T. Brain–Computer Interface Training Based on Brain Activity Can Induce Motor Recovery in Patients With Stroke: A Meta-Analysis. Neurorehabilitation and Neural Repair. 2022;36(2):83-96.
Comments