MI-BCI — Real-Time EEG–sEMG Multimodal BCI for VR Avatar Control

Overview

상상이
아바타가 되다.

뇌파(EEG)와 표면 근전도(sEMG)를 동시에 활용하는 하이브리드 BCI 시스템입니다. 좌/우 손 운동 상상 신호만으로 Meta Quest 3 VR 환경에서 아바타의 양팔을 실시간 제어하는 End-to-End 파이프라인을 구축합니다.

핵심 주장: EEG+sEMG 멀티모달 fusion의 신경생리학적 타당성과 실시간 BCI-VR 시스템의 실용성을 함께 검증합니다.

Methodology · Architecture

HybridBCIModel — Dual-Stream Fusion

EEG 64ch→ EEGNet Encoder · 256d ＋ sEMG 4ch→ BiLSTM Encoder · 256d → Softmax Attention Fusion→ FC 256→128→2

01EEGNet Encoder — 64ch EEG → 256-dim (F1=8, D=2, kernel 256, dropout 0.5).
02sEMG BiLSTM Encoder — 4ch envelope → 256-dim (2-layer BiLSTM, LayerNorm).
03Softmax Attention Fusion — (h_EEG, h_EMG)의 가중합(합=1)으로 256-dim 융합 표현 생성.
04학습 — Adam lr=1e-3, Cross-Entropy + L2, LOSO 52-fold, Google Colab A100.
05전처리 절제 연구 — baseline / wideband / narrowband / gamma 4가지 전략을 비교.

Pipeline · S1 → S7

7단계 연구 파이프라인

S1Data Loading & Sync — GigaDB .mat 로드, EEG/sEMG 분리, HDF5 캐싱.
S2Preprocessing Ablation — 4명 팀원이 각기 다른 전처리 파라미터로 비교.
S3Model Training & LOSO CV — 52-fold 교차검증 학습.
S4XAI Analysis — DeepSHAP · Grad-CAM · ERD(%) 검증.
S5Bias Analysis & Fix — Right MI 편향 분석 + Hemispheric Flip Augmentation + Logit Calibration.
S6Cross-dataset Transfer — GigaDB → BCI Competition IV 2a zero-shot 평가.
S7Real-time BCI-VR Integration — ONNX → WebSocket → Unity 아바타 IK 제어.

Key Results · LOSO-52

정량적 성과

74.2%

Accuracy ±11.1

0.738

F1-Macro

0.484

Cohen's κ

3.44

ITR (bits/min)

추론 latency ~6ms (ONNX CPU, FastAPI), 전체 파이프라인 ~20–26ms. 데이터셋: GigaDB 100295 (Cho et al. 2017) — 52명, EEG 64ch + sEMG 4ch, 512Hz.

Deep Dive · Bias Analysis

Right MI 과예측 편향

일부 피험자에서 Right MI 과분류가 발생했습니다. Recall 차이 > 0.30 기준으로 10명(19%)이 해당(mean=0.116, SD=0.179, threshold ≈ 1 SD above mean).

근본 원인은 데이터 불균형이 아니라, 52명 중 37명(71%)에서 Left MI 신호가 평균 3% 강해 LOSO 학습 중 모델이 Right MI에 과적합한 것이었습니다.

시도한 교정	결과
Label smoothing ε=0.05/0.10	κ −12%↑ 손실
Class weight w=1.2–1.4	κ 7.5–11% 손실
Hemispheric Flip Aug.	재학습 적용
Post-hoc Logit Calibration	교정 적용

v4 baseline은 유지하되, 편향은 Flip Augmentation 전체 재학습과 Logit Calibration으로 교정하고 Limitations에 기재합니다.

S7 · Real-Time BCI-VR System

ONNX → WebSocket → Unity

ONNX Inference Server→ Sliding Window · EMA α=0.3→ WebSocket (JSON)→ Unity AvatarController→ Dual-Arm IK · Meta Quest 3

01FastAPI + WebSocket 추론 서버 — ONNX Runtime(CPU)으로 ~6ms 추론, min_confidence 0.6.
02Unity 2022 LTS URP + XR Plugin — NativeWebSocket 수신 → Lerp + EMA 평활 → IK Target 제어.
03목표 지연 < 100ms — 현재 HDF5 Replay 기반, 실시간 전극 입력은 미구현(Known Limitation).

ONNX I/O — eeg (1,64,2304) · emg (1,4,288) → logits/probs (1,2). 크로스 데이터셋: GigaDB(52) 학습 모델을 BCI IV 2a(9명)에 zero-shot 평가.

Tech Stack

기술 스택

Deep Learning

PyTorch · EEGNet
2-layer BiLSTM
Softmax Attention Fusion

Signal / Analysis

MNE · SciPy · NumPy
FastICA · CAR · Butterworth
Wilcoxon · ITR Bootstrap

Real-Time (S5/S7)

ONNX Runtime
FastAPI · Uvicorn
NativeWebSocket

VR

Unity 2022 LTS URP
XR Plugin · IK System
Meta Quest 3

상상이아바타가 되다.