개요
본 연구는 자율주행 모빌리티 환경에서 탑승자의 멀미(Motion/Visual)를 통합적으로 저감하기 위한 기술 개발 연구로,
차량 내에서 탑승자는 다양한 콘텐츠(AR/VR/HMD 기반 미디어 등)에 노출될 때 심한 멀미를 경험할 수 있으며, 이는 주행으로 인한 멀미(MIMS)과 시각 자극에 의한 멀미(VIMS) 등 복합적 요인에 의해 유발됨
기존 연구가 개별 멀미 유형만을 다뤄왔던 것과 달리, 본 과제는 실제 자율주행 차량 환경에서의 복합 멀미 상황을 재현하고 통합적으로 평가·예측·저감할 수 있는 체계적 프레임워크를 제안함
본 과제는 현재 수행 중인 연구로, 본 포트폴리오에는 일부 진행 내용만을 포함함
연구 목적 & 필요성
운전 개입이 최소화된 자율주행 레벨 4 이상 차량에서는 탑승자의 활동이 엔터테인먼트·업무 등으로 확장되며, 이에 따라 시각·전정 자극의 불일치로 인한 멀미 문제가 심화될 수 있음
실제 주행 환경에서는 MIMS, VIMS, SS 등 다양한 멀미 요인이 복합적으로 발생하므로, 특정 조건에 한정되지 않는 범용적 통합 멀미 저감 기술이 요구됨
기존의 주관적 설문 기반 평가(SSQ, FMS 등) 는 개인차와 상황 변화에 민감하여 객관성이 낮음
이에 따라 EEG, GSR, PPG, 시선, 표정, 모션 등 다중 생체신호 기반 실시간 멀미 정량화 체계를 구축하여 생리학적 멀미 지표를 객관적으로 정의함
도출된 데이터를 바탕으로 Sickness Factor(SF) 매트릭스를 구성하여 멀미 원인별 영향도를 체계적으로 분석하고, 이를 기반으로 통합 멀미 저감 전략을 제시함
제안된 기술은 HMD, XR, 2D 디스플레이 등 다양한 콘텐츠 플랫폼에 적용 가능하며, 자율주행 시대의 인간 중심 HMI(Human-Machine Interface))/HRI(Human-Robot Interaction) 설계 기술로 확장될 수 있음
연구 내용
자율주행 모빌리티 환경에서 발생하는 복합 멀미(MIMS, VIMS)를 통합적으로 예측·저감하기 위한 연구로, 이를 위한 연구 프로세스는 다음과 같이 구성됨
1) 생체신호 기반 정량적 멀미 평가 환경 구축
2) 멀미 유발 파라미터 도출 및 Sickness Factor(SF)·Complexity-coupled Sickness Factor(CSF) 영향도 분석
3) SF별 멀미 저감 방법 구현 및 이를 통합한 멀미 저감 시스템 구현
4) 사용자 멀미 예측 모델(딥러닝 모델) 개발
5) 최종적으로 자율주행 차량에서 개발된 통합 멀미 저감 시스템 유효성 검증
생체신호 기반 정량적 멀미 평가 환경 구축
생체 신호 측정 환경 구축
HoloLens 2, Azure Kinect, iPad, Enobio EEG, Shimmer GSR 등 플랫폼 독립형 다중 생체신호 통합 수집 시스템 구축
IMU·시선·EEG·GSR·PPG·체온 등 신호를 실시간 동기화하여 타임스탬프 기반 통합 데이터셋 생성
가속도·각속도 제어형 모션 플랫폼 및 워시아웃 필터 기반 자율주행 모션 시뮬레이터 구현
자율 주행 환경 구축
Unity 콘텐츠에서 생성된 가상의 주행 환경을 개발하고, 주행 데이터(가속도, 각속도)를 플랫폼의 실 움직임으로 변환함
정의된 주행 시나리오에 의해서 발생되는 가속도와 각속도는 워시아웃 필터(모션 큐잉 알고리즘)를 거쳐서 실제 모션 플랫폼에 전달됨
고주파 성분(급가속, 급회전 등)은 실제 이동으로, 저주파 성분(지속적 기울기나 경사)은 기울기(Tilt)로 변환함으로써, 제한된 플랫폼 공간에서도 실제 차량과 유사한 전정 자극을 제공함
플랫폼은 Surge, Sway, Heave, Pitch, Roll, Yaw 축을 제어할 수 있으며, 차량 주행 시나리오에 따른 속도·가속도·각속도 프로파일을 기반으로 동작
PEGASUS Layer 포맷 기반으로 도로 구조, 차로 수, 곡률, 경사 등을 정의하여 실제 도로 주행과 유사한 자율주행 경로를 설계
직선·곡선·상하 경사·가감속 구간으로 구성된 시나리오를 통해 탑승자가 느낄 수 있는 다양한 MIMS 유발 상황을 구현
멀미 유발 파라미터 도출 및 SF·CSF 영향도 분석
MIMS(Motion-Induced Motion Sickness) 와 VIMS(Visual-Induced Motion Sickness)에 대한 선행연구 280편을 분석하여 멀미 유발 인자를 체계적으로 분류를 수행
이에 MIMS/VIMS에서 대표적인 멀미 저감 방법들을 정리 (MIMS 10개 / VIMS 15개 저감 요인 도출)
대표적인 멀미 이론인 감각갈등이론, 자세 불안정 이론을 기반으로 7개 핵심 SF(Sickness Factor) 정의
각 멀미 저감 방법과 SF 간의 관계를 저감 방법–SF 매트릭스(Matrix) 형태로 정립
실험 방법
SF 및 CSF를 통제·비통제 조건으로 구분하여 정량적 멀미 반응(FMS, SSQ, 생체 지표 변화율)을 비교 분석함
각 실험 조건은 특정 SF의 존재 여부를 변수로 설정하여, 해당 요인이 멀미 지표에 미치는 영향도를 측정함
분석 방법
SF별·CSF별 노출 조건에서의 생리·행동 데이터 변화를 통계적 유의성(p-value) 및 상관계수(R) 기반으로 분석
영향도는 멀미 반응의 평균 증감률을 기준으로 정량화하여, SF별 가중치(weight)로 산정
현재 진행되는 연구 내용으로 일부 내용만을 간략히 기재함
멀미 저감 방법
도출된 Sickness Factor(SF) 별 멀미 원인(시각적 불일치, 감각 해상도 저하, 정보 피로 등)에 대응하는 저감 방법을 개별적으로 구현
이후 각 SF별 저감 방법을 통합하여 복합 멀미(MIMS+VIMS) 상황에서도 작동 가능한 통합 멀미 저감 시스템을 구축
멀미 예측 모델
감각갈등이론(Sensory Conflict Theory)을 기반으로, 생체신호(EEG, GSR, PPG, 시선, 모션 등)와 콘텐츠 자극(RGB·Depth 영상)을 입력으로 하는 멀미 예측 딥러닝 모델을 설계
시각적 특징은 ResNet 기반 CNN으로 추출하고, 시간적 변화는 LSTM으로 처리하여 시계열 기반 멀미 수준(FMS)을 예측함
역할
본 연구에서 모션 플랫폼 기반 생체 데이터 측정 환경 구축과 EEG·GSR·PPG 등 다중 생체신호의 실시간 동기화 및 수집 시스템 구현에 참여하였다. 자율주행 환경에서 발생하는 멀미 요인을 분석하기 위해 선행 문헌 검토 및 데이터 기반 Sickness Factor(SF) 도출을 수행하였으며, 이를 연차보고서 및 기술 문서로 체계화하였다. 이 과정에서 외부 생체 데이터 측정 센서 연동 및 시각화 구현 및 Sickness Factor 도출을 위한 논리 절차, 기존 선행 문헌의 멀미 저감 방법 재현(구현)에 대한 실무 역량을 습득할 수 있었으며, 멀미 예측 및 저감 기술 개발 과정을 통해 VIMS/MIMS-생체 데이터간의 관계를 이해하고, 정량적 데이터 해석 능력을 높일 수 있었다.
본 연구는 한국연구재단의 "자율주행 모빌리티 탑승자를 위한 콘텐츠 플랫폼에 강인한 새로운 통합 멀미 저감 방법 개발" 연구 과제로 수행되었습니다.
