杜克大学的研究人员创造了一种名为 WildFusion 的革命性人工智能框架,通过融合多种感官输入,彻底改变了机器人对复杂环境的感知和导航方式,类似于人类的多感官感知。
与传统主要依赖摄像头或激光雷达视觉数据的机器人系统不同,WildFusion 将视觉与触觉和声学反馈相结合。该系统基于四足机器人平台,将 RGB 摄像头和激光雷达与接触式麦克风、触觉传感器以及惯性测量单元整合,形成了对环境的全面感知。
“WildFusion 为机器人导航和三维建图开启了新篇章。”杜克大学助理教授陈博远(Boyuan Chen)表示,“它帮助机器人能够更自信地在如森林、灾害现场和越野地形等非结构化、不可预测的环境中运行。”
WildFusion 的创新之处在于其能够通过专用神经编码器处理和解释多模态感官数据。当机器人行走时,接触式麦克风能够感知每一步产生的独特振动——从而区分干树叶、泥土等不同地表;同时,触觉传感器测量足部压力以评估稳定性。这些丰富的感知信息输入到基于隐式神经表示的深度学习模型中,使机器人即使在视觉数据不完整时,也能连续构建环境地图。
该技术已在北卡罗来纳州的 Eno River 州立公园成功测试,机器人在密林、草地和碎石路等多种地形下都实现了精确导航。当斑驳的阳光干扰视觉传感器时,WildFusion 的多模态集成方法依然能够准确预测稳定的落脚点。
WildFusion 的意义远不止于学术研究。它有望彻底改变搜救行动、危险环境探索、基础设施巡检及工业自动化等应用领域。未来,研发团队计划集成热成像、湿度等更多类型的传感器,进一步提升机器人的环境感知能力。
随着机器人日益融入复杂的现实场景,WildFusion 标志着机器人能够像人类一样适应并高效应对不可预测环境的重要一步。