듀크대학교 연구진이 인간의 감각 통합 방식을 모방해, 로봇이 복잡한 환경을 인지하고 탐색하는 방식을 혁신적으로 바꿀 수 있는 AI 프레임워크 'WildFusion'을 개발했다.
기존 로봇 시스템이 주로 카메라나 라이다(LiDAR) 등 시각 정보에 의존했던 것과 달리, WildFusion은 시각뿐 아니라 촉각 및 음향 피드백까지 통합한다. 사족보행 로봇에 적용된 이 시스템은 RGB 카메라와 라이다, 접촉 마이크, 촉각 센서, 관성 측정 장치(IMU)를 결합해 환경에 대한 종합적 인식을 구현한다.
듀크대학교 보유안 첸(Boyuan Chen) 조교수는 “WildFusion은 로봇 내비게이션과 3D 맵핑의 새로운 장을 연다”며, “이 기술은 로봇이 숲, 재난 현장, 오프로드 지형 등 구조화되지 않고 예측 불가능한 환경에서도 더욱 자신감 있게 작동할 수 있도록 돕는다”고 설명했다.
WildFusion의 혁신성은 감각 데이터를 특화된 신경 인코더로 처리·해석하는 능력에 있다. 로봇이 이동할 때, 접촉 마이크는 각 발걸음에서 발생하는 고유 진동을 감지해 마른 낙엽, 진흙 등 다양한 표면을 구분하고, 촉각 센서는 발의 압력을 측정해 안정성을 평가한다. 이처럼 풍부한 감각 정보는 암묵적 신경 표현(implicit neural representations)을 활용한 딥러닝 모델로 입력되어, 시각 정보가 불완전할 때도 연속적인 환경 지도를 구축할 수 있게 한다.
이 기술은 미국 노스캐롤라이나주 이노 리버 주립공원(Eno River State Park)에서 실제 테스트를 거쳤으며, 로봇은 울창한 숲, 초원, 자갈길 등 다양한 지형을 놀라운 정밀도로 이동했다. 얼룩진 햇빛 등으로 시각 센서가 혼란을 겪을 때도, WildFusion의 통합 감각 접근법은 안정적인 발판을 정확히 예측했다.
이러한 성과는 학술 연구를 넘어, 수색·구조, 위험 환경 탐사, 인프라 점검, 산업 자동화 등 다양한 분야에 혁신을 가져올 것으로 기대된다. 연구진은 향후 열 감지, 습도 센서 등 추가 센서도 통합해 로봇의 환경 인지 능력을 더욱 강화할 계획이다.
로봇이 점차 복잡한 현실 세계에 통합되는 시대에, WildFusion은 인간이 자연스럽게 탐색하는 예측 불가능한 환경에서도 효과적으로 적응·작동할 수 있는 기계 개발을 향한 중요한 진전으로 평가된다.