在情感計(jì)算（Affective Computing）領(lǐng)域，一個(gè)核心問題始終存在：機(jī)器如何更準(zhǔn)確地理解人的情緒？近年來，腦電（EEG）與近紅外腦功能成像（fNIRS）逐漸成為情緒識別研究中的重要生理信號來源。但一個(gè)關(guān)鍵問題仍未被充分回答：

單一模態(tài)是否足夠？

EEG同步fNIRS，是否真的能提升情緒識別的可靠性與泛化能力？

來自奧克蘭大學(xué)（The University of Auckland）的一項(xiàng)博士研究，對這一問題進(jìn)行了回答。

研究背景

為什么選擇EEG + fNIRS？情緒測量通常有三類途徑：

① 主觀量表（如SAM、PANAS）

② 外在行為表達(dá)（面部、語音等）

③ 生理信號（腦電、心率、皮電等）

其中，腦信號具有難以偽裝、直接關(guān)聯(lián)神經(jīng)活動(dòng)的優(yōu)勢。

EEG：毫秒級時(shí)間分辨率，反映神經(jīng)電活動(dòng)

fNIRS：反映血氧動(dòng)力學(xué)變化，空間定位更穩(wěn)定兩者在神經(jīng)血管耦合層面具有天然互補(bǔ)性。

然而，過去存在著明顯研究空白：

① 缺乏大規(guī)模公開的fNIRS-EEG情緒數(shù)據(jù)庫現(xiàn)有多模態(tài)數(shù)據(jù)庫（如DEAP、MAHNOB-HCI等）多以EEG為主，真正融合fNIRS-EEG并面向情緒研究的公開數(shù)據(jù)極少。

② 缺乏完整的多模態(tài)情緒識別Pipeline探索從數(shù)據(jù)清洗、特征提取到模型評估尚未形成系統(tǒng)性方法論。

③跨被試泛化問題（Cross-subject generalizability）個(gè)體差異嚴(yán)重影響模型表現(xiàn)，這是情緒識別走向真實(shí)應(yīng)用的關(guān)鍵障礙。

本項(xiàng)研究的核心貢獻(xiàn)

1.構(gòu)建目前規(guī)模最大的fNIRS-EEG情緒數(shù)據(jù)庫

FEAD數(shù)據(jù)庫研究設(shè)計(jì)了三類情緒誘發(fā)實(shí)驗(yàn)：分別是視頻刺激、聲音刺激與音樂刺激。

同時(shí)采集EEG信號、fNIRS信號以及主觀量表評分（valence / arousal / dominance）。形成名為FEAD（fNIRS-EEG Affective Dataset）的數(shù)據(jù)庫。

2.情緒識別框架橫評

系統(tǒng)比較三種情緒識別框架研究：傳統(tǒng)機(jī)器學(xué)習(xí)框架SVM、Random Forest、KNN、LDA 等特征驅(qū)動(dòng)型深度學(xué)習(xí)端到端深度學(xué)習(xí)模型ShallowConvNet、MTCNN結(jié)論表明：

多模態(tài)fNIRS-EEG系統(tǒng)在不同情緒維度上整體優(yōu)于單一模態(tài)。

不僅如此，論文建立了：特征方法基準(zhǔn)準(zhǔn)確率、深度學(xué)習(xí)基準(zhǔn)準(zhǔn)確率以及不同驗(yàn)證范式（subjective / subject-biased / subject-independent）的系統(tǒng)比較。

3.引入Domain Adaptation解決跨被試問題

引入Domain Adaptation解決跨被試問題跨被試泛化是情緒識別的核心難點(diǎn)。

研究引入多種領(lǐng)域自適應(yīng)（Domain Adaptation）方法，包括：CORAL、Subspace Alignment、Transfer Component Analysis、Deep Domain Adaptation在傳統(tǒng)框架與深度學(xué)習(xí)框架中分別測試。

結(jié)果顯示：

合理的Domain Adaptation策略可以顯著提升跨被試識別性能。

這為真實(shí)HCI應(yīng)用場景（如教育系統(tǒng)、醫(yī)療監(jiān)測系統(tǒng)）提供了可行路徑。

4.小結(jié)

這項(xiàng)研究不僅是一個(gè)“準(zhǔn)確率提升”的工作，更重要的是提供了方法論層面的系統(tǒng)框架

對于腦機(jī)接口與情緒計(jì)算領(lǐng)域而言，這項(xiàng)研究的意義在于推動(dòng)了一個(gè)更現(xiàn)實(shí)的問題：

情緒識別系統(tǒng)，如何從“實(shí)驗(yàn)室模型”走向“可泛化系統(tǒng)”？