개요
본 연구는 유·초등 아동의 집중력 및 창의력 향상을 위한 증강현실(AR) 기반 기능성 게임 개발에 관한 연구로,
Unity, Vuforia, LeapMotion을 결합하여 현실 공간 내에서 AR 객체와 제스처 기반 인터랙션이 가능한 3D 게임 환경을 구축함
게임은 마커 인식 기반으로 실제 카드(도구 카드)를 인식하여 대응하는 3D 오브젝트를 증강시킴으로써, 게임 내에 문제해결 능력 및 창의성 향상시키고 몰입감 있는 게임플레이를 동시에 제공함
연구 목적 & 필요성
현대의 아동층은 디지털 기기 사용이 일상화되었으나, 대부분의 콘텐츠가 수동적 시청·조작에 머물러 있어 상호작용적 사고력 및 집중력 향상에 한계가 있음
따라서 본 연구는 증강현실(AR) 기술과 사용자 제스처 기반 인터랙션(LeapMotion)을 융합하여, 사용자가 직접 물리적 제스처를 통해 가상 객체를 제어·조작할 수 있는 능동적 게임 환경을 구현함
실제 카드를 통한 마커 인식 기반 AR 시스템을 통해 현실 공간 위에 가상 오브젝트를 실시간으로 증강함으로써, 3차원 공간 내에서 사용자는 공간 인식 및 조작 능력을 높이고, 정답이 정해지지 않은 게임 내 환경 속에서 다양한 방식을 통해 문제를 해결함으로써 창의성을 높일 수 있음
또한 제스처 인식을 활용하여 AR 객체의 위치·크기 등을 자유롭게 제어함으로써, 가상 오브젝트와 직접적 인터랙션 경험을 제공하고 몰입감 있는 게임 환경을 제공함
이를 통해 단순한 시각적 자극이 아닌 AR 인터랙션 경험을 제공하여, 집중력 향상 및 문제 해결력 증진할 수 있음
게임 개요
사용자는 태블릿의 카메라를 통해 현실 공간 위에 증강된 3차원 환경(AR 캐릭터와 장애물 맵)을 확인하고, 손 제스처(LeapMotion)를 이용해 AR 도구를 조작·배치하여 캐릭터가 안전하게 반대편 절벽으로 건너가도록 돕는 방식의 AR 인터랙티브 게임
진행 절차 (게임 시나리오)
초기 세팅
태블릿 카메라가 마커(초기 환경 마커)를 인식하면,
초기 환경(절벽 지형), 메인 캐릭터, 랜덤 위치의 몬스터(장애물), 시작·초기화 버튼 UI가 AR 공간에 생성됨
AR 도구 카드 인식
사용자가 AR 도구 카드를 카메라 앞에 인식하면, 해당 카드의 마커를 인식하여 도구(AR Object)가 증강됨
도구는 제한된 개수만 사용할 수 있으며, 종류에 따라 서로 다른 효과를 가짐
AR 도구 배치(크기 및 위치)
LeapMotion 센서를 통해 사용자의 제스처를 인식함
한 손 제스처 : 도구의 위치 이동
양손 제스처 : 도구 크기 조절 (양손 간격 변화에 따라 스케일링)
사용자는 이러한 제스처를 통해 AR 도구를 최적의 위치에 배치하여 캐릭터의 이동 경로를 설계함
게임 시작
게임 시작(Start) 버튼을 클릭하면,
캐릭터가 자동으로 앞으로 이동을 수행함
캐릭터는 사용자가 직접 조작할 수 없으며, 배치된 AR 도구를 활용하여 장애물과 몬스터를 피해 반대편 목적지로 이동해야 함
게임 결과
Game Over
캐릭터가 몬스터와 접촉하거나 절벽 아래로 추락할 경우 게임 실패
“재시작 버튼”을 눌러 초기화면으로 복귀
Game Clear:
캐릭터가 반대편 절벽의 보스 몬스터에 도달하면 승리
승리 애니메이션과 함께 “다시하기” 버튼 활성화
개발환경
소프트웨어
Unity Engine: 전체 게임 로직, UI, 캐릭터 이동 및 애니메이션 제어
Vuforia SDK: 마커 인식을 통한 AR 객체 증강 및 현실 공간 매핑
LeapMotion SDK: 사용자의 손 제스처 인식을 통한 AR 도구 조작(이동, 크기 조절)
하드웨어
LeapMotion: 사용자의 Hand Joint 인식 및 추적
태블릿 PC: 카메라를 통한 마커 인식 및 AR 화면 출력
마커 카드: 초기 가상 환경 생성 및 각 도구의 인식용 마커로, AR 오브젝트를 증강시키는 입력 도구
태블릿 거치대 및 회전 트레이: 안정적인 플레이 환경과 카메라 시야 확보를 위한 물리적 지지 장치
AR 도구 카드 종류 및 기능
실물 AR 도구 카드를 태블릿 PC 카메라에 인식 시, 가상환경 내 그에 대응되는 AR Object가 생성됨
생성된 AR Object는 각각 다른 기능(효과)를 가지며, 사용자는 해당 AR Object를 활용하여 캐릭터가 반대편 절벽까지 안전하게 도달할 수 있도록 활용함
AR 도구 카드
기능
Jump Tool
밟으면 즉시 점프
Food Tool
몬스터(장애물)가 도구 방향으로 끌려감
UpDown Tool
비행기를 이용해 위·아래로 이동
Treadmill Tool
이동 속도 증가
Rotation Tool
방향 회전 (좌/우 회전 가능)
Random Tool
4종류 중 랜덤한 도구 생성
└ Dark Tool (Debuff)
몬스터가 보이지 않음 (시야 차단)
└ Weapon Tool
펫 소환 → 몬스터 자동 공격
└ Slow Tool (Debuff)
캐릭터 이동속도 감소
└ Protect Tool
몬스터로 부터 보호할 수 있는 1회용 보호막 생성
Hand Gesture 기반 AR Object 제어
LeapMotion 센서를 활용하여 사용자의 Hand Joint를 인식하고, 이를 가상 공간 내 AR Object 제어 입력으로 사용함
손의 위치, 방향, 거리 데이터를 기반으로 객체 선택, 이동, 크기 조절 등의 동작을 수행함
AR Object 선택, 이동은 한 손 제스처를 활용하며,AR Object 크기 조절은 양손 제스처를 활용함
객체 선택: 엄지와 검지를 활용하여 Pinch 동작을 수행 시, Collider 기반으로 손 모델과 AR Object간의 충돌 확인 후 선택
객체 이동: Pinch 동작을 유지한채 손 이동 시, 손 좌표를 따라 AR Object의 위치를 갱신
객체 크기 조절: 양 손을 모두 활용하여 Pinch 동작을 수행 시, 두 손의 거리 변화에 따라 Δ값이 양수 → 오브젝트 확대 / Δ값이 음수 → 오브젝트 축소
손이 오브젝트 범위를 벗어나면 충돌 이벤트로 조작 상태를 해제
