실제가 아닌 인공의 환경에서 공간·시간적 체험을 할 수 있는 가상현실(virtual reality, VR)은 체험자가 실제와 유사하게 느낄수록 더 몰입하고 즐길 수 있다. 최근 VR 환경에서 사용자의 동작을 실시간으로 정확하게 인식하는 새로운 기술이 개발되어 주목을 받고 있다.
광주과학기술원(GIST, 총장 임기철)은 융합기술학제학부 김경중 교수 연구팀이 기존의 웨어러블 센서에 의존하던 방식에서 벗어나 고해상도 카펫형 촉각 센서로 사용자의 발 압력 데이터를 상세하게 분석하여 행동을 인식하는 기술을 개발했다고 밝혔다.
이로써 VR 내에서 사용자의 동작과 의도를 더욱 정밀하게 파악할 수 있으며, 가상 환경에서 자연스러운 이동을 구현하는 데 이번 연구 성과가 활용될 수 있을 것으로 기대된다.
가상현실에서의 자연스러운 이동은 VR 환경의 몰입감과 상호작용성을 크게 향상시키는 기본적인 요소로서 이 분야에 대한 다양한 연구가 진행되어 왔으나 해결이 필요한 문제가 여전히 남아 있었다.
가장 큰 문제는 가상 공간과 달리 현실 공간에는 물리적 한계가 존재한다는 것이다. 이러한 현실 공간의 제약을 극복하기 위해 제자리 움직임을 인식해 가상 환경에서의 움직임으로 구현하는 연구들이 진행되어 왔다.
그러나 기존 연구 방법은 사용자의 센서 착용이 필수적이며, 이때 착용된 센서는 사용자의 움직임을 불편하게 할 수 있다. 따라서 사용자의 편의성을 위해서는 센서 착용 없이도 사용자의 행동을 정확하게 인식하는 기술이 필요하다.
연구팀은 센서를 통해 얻어진 고해상도 발 압력 데이터를 처리하기 위해 비전 트랜스포머(ViT) 기반의 새로운 인공지능 모델인 ‘자가 학습 비전 트랜스포머(Self-Teaching Vision Transformer, STViT)’를 개발해 유사한 동작도 정확하게 구분할 수 있도록 했다.
이 모델은 기존의 데이터 효율적 이미지 변환기(Data-efficient Image Transformer, DeiT)와 창 이동 비전 변환기(Shifted window Vision Transformer, SwinViT)의 요소를 통합하고 이전 학습 단계의 지식을 활용하여 지속적으로 자신을 업데이트하는 ‘자가 학습’ 방식을 활용하였다.
이번 연구 성과는 사용자 인터페이스와 상호작용 방식 측면에서 VR 기술의 수준을 한 단계 끌어올릴 수 있는 중요한 진전을 의미하며, VR을 이용한 교육, 의료, 엔터테인먼트 등 다양한 분야에서의 활용이 기대된다.
예를 들어 의료 분야에서는 환자의 재활 과정을 보다 세밀하게 모니터링하고, 교육 분야에서는 실제와 같은 상호작용을 통한 학습 효과를 극대화할 수 있다.
무엇보다 이 기술은 VR 환경에 대한 사용자의 자연스러운 몰입을 돕는다. 정교한 동작 인식 기능은 사용자의 손과 발의 움직임을 정확하게 포착하여 가상 세계에서의 상호작용을 실제와 같이 자연스럽게 만들며 VR 경험의 질을 한층 더 끌어올리는 역할을 할 것으로 기대된다.
김경중 교수는 “이번 연구 성과는 웨어러블 장치 없이도 사용자의 동작을 더욱 자연스럽고 편안하게 인식할 수 있는 인터페이스로서의 활용이 기대된다”며 “가상현실에서의 자연스러운 이동성 문제를 해결하고, 더 몰입감 있는 사용자 경험을 제공할 수 있는 새로운 가능성을 열 것으로 기대한다”고 말했다.
GIST 융합기술제학부 김경중 교수가 지도하고 박사과정 이성하·주호택·최윤호, 석사과정 정인식·박동혁 학생이 수행한 이번 연구는 ‘GIST-MIT AI국제협력사업’ 및 ‘지역의 미래를 여는 과학기술 프로젝트 사업’의 지원을 받았으며, 세계적 학술대회 ‘IEEE VR Conference 2024’와 한국정보과학회 주관 Top Conference 세션에서 발표하였다.
