一種通過(guò)scout ESI和CNN解碼EEG運(yùn)動(dòng)想象四分類(lèi)任務(wù)的新方法
導(dǎo)讀東北電力大學(xué)和長(zhǎng)春理工大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)并實(shí)現(xiàn)一種結(jié)合腦電圖源成像(ESI)技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的新方法，以對(duì)運(yùn)動(dòng)想象(MI)任務(wù)進(jìn)行分類(lèi)。ESI技術(shù)采用邊界元法(BEM)和加權(quán)最小范數(shù)估計(jì)(WMNE)分別解決EEG的正向和逆向問(wèn)題。然后在運(yùn)動(dòng)皮層中創(chuàng)建十個(gè)scout來(lái)選擇感興趣的區(qū)域(ROI)。研究者使用Morlet小波方法從scout的時(shí)間序列中提取特征。最后，使用CNN對(duì)MI任務(wù)進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果:在Physionet數(shù)據(jù)庫(kù)上的整體平均準(zhǔn)確率達(dá)到94.5%，分別對(duì)左拳頭、右拳頭、雙拳和雙腳的單個(gè)準(zhǔn)確率達(dá)到95.3%、93.3%、93.6%、96%，采用十倍交叉驗(yàn)證進(jìn)行驗(yàn)證。研究人員表示，他們的研究成果與最先進(jìn)的MI分類(lèi)方法的結(jié)果相比，總體分類(lèi)增加了14.4%。研究者為驗(yàn)證方法的有效性，加入了4個(gè)新的受試者進(jìn)行驗(yàn)證，發(fā)現(xiàn)總體平均準(zhǔn)確率為92.5%。此外，全局分類(lèi)器適應(yīng)單一對(duì)象，整體平均準(zhǔn)確率提高到94.54%。研究者表示，他們提出的結(jié)合scout ESI和CNN的方法，提高了腦電解碼四類(lèi)MI任務(wù)的BCI性能。系統(tǒng)框架圖1 系統(tǒng)框架圖系統(tǒng)框架如圖1所示。原始數(shù)據(jù)來(lái)自國(guó)際10-10系統(tǒng)的64個(gè)電極(不包括Nz、F9、F10、FT9、FT10、A1、A2、TP9、TP10、P9和P10電極)，并以每秒160個(gè)樣本的速度采集。根據(jù)國(guó)際10-10系統(tǒng)從64個(gè)通道采集原始腦電圖，并使用BCI2000系統(tǒng)進(jìn)行記錄。記錄的數(shù)據(jù)被分為四個(gè)獨(dú)立MI任務(wù)包括左拳MI,右拳MI,雙拳MI和雙腳MI。首先，由于ERD在執(zhí)行運(yùn)動(dòng)想象時(shí)在alpha和beta中不同，因此使用FIR濾波器對(duì)EEG進(jìn)行了8 Hz至30 Hz的帶通濾波。然后，通過(guò)計(jì)算包含正問(wèn)題和逆問(wèn)題的源，將傳感器空間的活動(dòng)轉(zhuǎn)化為源空間的活動(dòng)。接下來(lái)，創(chuàng)建scout并提取特征。研究者在運(yùn)動(dòng)皮層中創(chuàng)建了10個(gè)scout，因?yàn)槲覀冎魂P(guān)心與運(yùn)動(dòng)相關(guān)的活動(dòng)。十個(gè)scout中的每一個(gè)都代表了可用源空間中的一個(gè)感興趣的區(qū)域(ROI)，并且是定義在皮層表面或頭部體積上的偶極子的子集。左腦的scout稱(chēng)為L(zhǎng)1、L2、L3、L4、L5，右腦的scout稱(chēng)為R1、R2、R3、R4、R5。利用JTFA從10個(gè)scout的源時(shí)間序列中提取特征。最后，利用CNN對(duì)時(shí)頻圖進(jìn)行分離并進(jìn)行分類(lèi)。實(shí)驗(yàn)在實(shí)驗(yàn)中，研究人員僅使用了隨機(jī)選擇的十個(gè)受試者的MI trail (S5，S6，S7，S8，S9，S10，S11，S12，S13，S14)。這里用于分析的數(shù)據(jù)集包含每個(gè)受試者84次試驗(yàn)，每一類(lèi)包含21次試驗(yàn)。在記錄64通道腦電圖時(shí)，受試者執(zhí)行了不同的運(yùn)動(dòng)想象任務(wù)。每個(gè)受試者針對(duì)以下四個(gè)任務(wù)中的每一個(gè)執(zhí)行了3輪21試驗(yàn)：當(dāng)目標(biāo)出現(xiàn)在屏幕左側(cè)時(shí)，受試者想象打開(kāi)和合上相應(yīng)的拳頭，直到目標(biāo)消失。然后受試者放松。當(dāng)目標(biāo)出現(xiàn)在屏幕的右側(cè)時(shí)，受試者想象打開(kāi)和合上相應(yīng)的拳頭，直到目標(biāo)消失。然后受試者放松。當(dāng)目標(biāo)出現(xiàn)在屏幕頂部時(shí)，受試者想象打開(kāi)和合上雙手的拳頭，直到目標(biāo)消失。然后受試者放松。當(dāng)目標(biāo)出現(xiàn)在屏幕底部時(shí)，目標(biāo)會(huì)想象雙腳張開(kāi)和合攏，直到目標(biāo)消失。然后受試者放松。為了統(tǒng)一數(shù)據(jù)維數(shù)，研究者選擇了4s的數(shù)據(jù)，因?yàn)槊看蜗胂笕蝿?wù)的執(zhí)行時(shí)間都在4s左右。此外，腦電圖任務(wù)是分開(kāi)的，研究人員在實(shí)驗(yàn)中將左拳，右拳，雙拳和雙腳MI任務(wù)分別稱(chēng)為T(mén)1，T2，T3和T4。圖2 scout命名左右運(yùn)動(dòng)想象的scout分別命名為L(zhǎng)1、L2、L3、L4、L5、R1、R2、R3、R4、R5，如圖2所示。10個(gè)scout每一個(gè)都被擴(kuò)展到40個(gè)頂點(diǎn)，每個(gè)頂點(diǎn)只有一個(gè)源。L1區(qū)域?qū)?yīng)40個(gè)信號(hào)，其他scout也一樣。在計(jì)算了來(lái)源后，研究者在運(yùn)動(dòng)皮層中創(chuàng)建了十個(gè)scout，如圖3所示。圖3 創(chuàng)建10個(gè)scout使用ESI計(jì)算十個(gè)受試者(S5、S6、S7、S8、S9、S10、S11、S12、S13、S14)每次試驗(yàn)的四個(gè)任務(wù)(T1、T2、T3、T4)的源。對(duì)于這四項(xiàng)任務(wù)中的每一項(xiàng)，每個(gè)受試者每次都要進(jìn)行7次測(cè)試(#1，#2，#3，#4，#5，#6，#7)。展示了第一個(gè)步的10個(gè)被試的10個(gè)scout的4項(xiàng)任務(wù)的來(lái)源。然后提取10個(gè)scout的時(shí)間序列進(jìn)行進(jìn)一步分析。特征提取在計(jì)算源之后，研究人員在運(yùn)動(dòng)皮層中創(chuàng)建了包含40個(gè)源的10個(gè)scout，并提取了scout的時(shí)間序列。如圖4所示為提取R5 scout時(shí)間序列作為示例。圖的右邊顯示了R5 scout的時(shí)間序列。本文利用小波變換從scout時(shí)間序列中提取特征。圖4 提取R5 scout時(shí)間序列作為示例在這項(xiàng)研究中，研究者提出利用CNN來(lái)解決運(yùn)動(dòng)想象任務(wù)分類(lèi)的問(wèn)題。該模型基于Schirrmeister等提出的Deep ConvNet架構(gòu)，該網(wǎng)絡(luò)模型由一個(gè)六層卷積網(wǎng)絡(luò)組成，其中兩個(gè)最大池層和三個(gè)全連接層，如圖5所示。圖5對(duì)于Physionet數(shù)據(jù)庫(kù)，研究者首先采用Deep ConvNet架構(gòu)，包括四個(gè)卷積層、四個(gè)最大池層和一個(gè)全連接層。在實(shí)驗(yàn)中，研究者依據(jù)經(jīng)驗(yàn)使用兩個(gè)最大池化層。并嘗試了不同數(shù)量的卷積層和完全連接層。時(shí)頻圖利用Morlet小波方法得到了scout的特征。對(duì)于每個(gè)任務(wù)，R5 scout的時(shí)頻圖如圖6所示。包含時(shí)間和頻率互補(bǔ)的時(shí)頻分析方法提供了時(shí)域和頻域的聯(lián)合分布信息，清晰地描述了信號(hào)頻率與時(shí)間的關(guān)系。圖6 R5 scout的時(shí)頻圖顯然，只有部分時(shí)頻映射是紅色的，表明每個(gè)任務(wù)只對(duì)特定的頻率和時(shí)間敏感。由于圖的數(shù)量比較大，研究者使用CNN來(lái)選擇和學(xué)習(xí)這些圖中最基本的特征。研究人員隨機(jī)選擇了幾個(gè)樣本，并將一些特征圖可視化，作為MI任務(wù)的學(xué)習(xí)表示，如圖7所示。圖7為了獲得有效的結(jié)果，將數(shù)據(jù)集分為90％作為訓(xùn)練集，其余10％作為測(cè)試集。首先，將十個(gè)受試者的數(shù)據(jù)集（總共19320個(gè)樣本）分為17388個(gè)樣本以訓(xùn)練所提出的CNN模型，以及1932個(gè)樣本以驗(yàn)證模型的有效性。在實(shí)驗(yàn)中，研究者還選擇了另外四個(gè)受試者的數(shù)據(jù)集以增加數(shù)據(jù)集的規(guī)模(27048個(gè)樣本)，其中24343個(gè)樣本是訓(xùn)練集，其他樣本是測(cè)試集。在選定的scout上對(duì)所提出的CNN架構(gòu)進(jìn)行了十次訓(xùn)練和測(cè)試，以驗(yàn)證所提出模型的魯棒性。圖8(a)顯示了10個(gè)scout中每個(gè)的全局平均精度。圖8 統(tǒng)計(jì)結(jié)果R5的全局平均精度最高，達(dá)到94.5%，而L2的全局平均精度最低，為91.3%。對(duì)應(yīng)L1、L3、L4、L5、R1、R2、R3、R4的整體準(zhǔn)確率分別為92.4%、92.5%、93.6%、91.9%、93.0%、91.8%、92.1%、92.6%。所有scout的總體精度均在91%以上，標(biāo)準(zhǔn)差均在0.20%以下。圖8(b)顯示了十個(gè)scout中每個(gè)scout四個(gè)MI任務(wù)的組級(jí)統(tǒng)計(jì)結(jié)果及其標(biāo)準(zhǔn)差。一般來(lái)說(shuō)，R5表現(xiàn)的要比其他的好，而L2在迭代2000中表現(xiàn)最差。標(biāo)準(zhǔn)差較小，說(shuō)明這些精度更接近平均值且穩(wěn)定。圖9 統(tǒng)計(jì)結(jié)果圖9(a)顯示了帶有標(biāo)準(zhǔn)差的混淆矩陣，說(shuō)明了group level分類(lèi)結(jié)果。T1、T2、T3和T4的全局平均精度峰值分別為95.3%、93.3%、93.6%和96.0%。R5 scout的四個(gè)MI任務(wù)中的每一個(gè)都如圖9(b)所示。通過(guò)改變訓(xùn)練集和測(cè)試集順序的10次試驗(yàn)，確定了scoutR5的性能，結(jié)果如圖10(a)和(b)所示。在10次試驗(yàn)中，scout R5的T1、T2、T3、T4的平均準(zhǔn)確率分別為93.3%、93.8%、94.2%、94.1%。換句話(huà)說(shuō)，四個(gè)任務(wù)中每一個(gè)的平均準(zhǔn)確率都超過(guò)了93%。全局平均準(zhǔn)確率為93.7%。10次試驗(yàn)結(jié)果表明，該方法對(duì)scout R5的分類(lèi)效果較好。從以上結(jié)果可以清楚地看出，R5 scout在四種MI任務(wù)的分類(lèi)中扮演著最重要的角色。因此，選擇R5對(duì)四個(gè)MI任務(wù)進(jìn)行分類(lèi)。圖 10圖11. (a)是不同模型的全局平均準(zhǔn)確性的比較。可以發(fā)現(xiàn)，該研究提出的模型可以達(dá)到最大的精度。從圖11. (b)不同模型的ROC曲線(xiàn)可以看出提出的模型比其他模型表現(xiàn)更好。?不同模型T1上的精度比較。(d)不同模型T2的精度比較。(e)不同模型T3的精度比較。(f)不同型號(hào)T4的精度比較。圖11 不同模型的精度比較結(jié)論東北電力大學(xué)和長(zhǎng)春理工大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)并實(shí)現(xiàn)一種結(jié)合腦電圖源成像(ESI)技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的新方法。該方法可以對(duì)運(yùn)動(dòng)想象(MI)任務(wù)進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果表明，他們的研究成果與最先進(jìn)的MI分類(lèi)方法的結(jié)果相比，總體分類(lèi)增加了14.4%。研究者加入了4個(gè)新的受試者進(jìn)行驗(yàn)證來(lái)驗(yàn)證方法的有效性。研究者表示，他們提出的結(jié)合scout ESI和CNN的方法，提高了腦電解碼四類(lèi)MI任務(wù)的BCI性能。論文信息：A novel approach of decoding EEG four-class motor imagery tasks via scout ESI and CNN
東北電力大學(xué)
2021-04-10
搜 索
.jpg){kind=logo}