在情感計算（Affective Computing）領域，一個核心問題始終存在：機器如何更準確地理解人的情緒？近年來，腦電（EEG）與近紅外腦功能成像（fNIRS）逐漸成為情緒識別研究中的重要生理信號來源。但一個關鍵問題仍未被充分回答：

單一模態是否足夠？

EEG同步fNIRS，是否真的能提升情緒識別的可靠性與泛化能力？

來自奧克蘭大學（The University of Auckland）的一項博士研究，對這一問題進行了回答。

研究背景

為什么選擇EEG + fNIRS？情緒測量通常有三類途徑：

① 主觀量表（如SAM、PANAS）

② 外在行為表達（面部、語音等）

③ 生理信號（腦電、心率、皮電等）

其中，腦信號具有難以偽裝、直接關聯神經活動的優勢。

EEG：毫秒級時間分辨率，反映神經電活動

fNIRS：反映血氧動力學變化，空間定位更穩定兩者在神經血管耦合層面具有天然互補性。

然而，過去存在著明顯研究空白：

① 缺乏大規模公開的fNIRS-EEG情緒數據庫現有多模態數據庫（如DEAP、MAHNOB-HCI等）多以EEG為主，真正融合fNIRS-EEG并面向情緒研究的公開數據極少。

② 缺乏完整的多模態情緒識別Pipeline探索從數據清洗、特征提取到模型評估尚未形成系統性方法論。

③跨被試泛化問題（Cross-subject generalizability）個體差異嚴重影響模型表現，這是情緒識別走向真實應用的關鍵障礙。

本項研究的核心貢獻

1.構建目前規模最大的fNIRS-EEG情緒數據庫

FEAD數據庫研究設計了三類情緒誘發實驗：分別是視頻刺激、聲音刺激與音樂刺激。

同時采集EEG信號、fNIRS信號以及主觀量表評分（valence / arousal / dominance）。形成名為FEAD（fNIRS-EEG Affective Dataset）的數據庫。

2.情緒識別框架橫評

系統比較三種情緒識別框架研究：傳統機器學習框架SVM、Random Forest、KNN、LDA 等特征驅動型深度學習端到端深度學習模型ShallowConvNet、MTCNN結論表明：

多模態fNIRS-EEG系統在不同情緒維度上整體優于單一模態。

不僅如此，論文建立了：特征方法基準準確率、深度學習基準準確率以及不同驗證范式（subjective / subject-biased / subject-independent）的系統比較。

3.引入Domain Adaptation解決跨被試問題

引入Domain Adaptation解決跨被試問題跨被試泛化是情緒識別的核心難點。

研究引入多種領域自適應（Domain Adaptation）方法，包括：CORAL、Subspace Alignment、Transfer Component Analysis、Deep Domain Adaptation在傳統框架與深度學習框架中分別測試。

結果顯示：

合理的Domain Adaptation策略可以顯著提升跨被試識別性能。

這為真實HCI應用場景（如教育系統、醫療監測系統）提供了可行路徑。

4.小結

這項研究不僅是一個“準確率提升”的工作，更重要的是提供了方法論層面的系統框架

對于腦機接口與情緒計算領域而言，這項研究的意義在于推動了一個更現實的問題：

情緒識別系統，如何從“實驗室模型”走向“可泛化系統”？