面向具身智能机器人的多模态感算一体传感器信号处理与微系统设计 (2).docxVIP

PAGE2

面向具身智能机器人的多模态感算一体传感器信号处理与微系统设计

摘要

具身智能机器人需在复杂环境中实时感知与决策，传统架构中传感器数据需上传至中央处理器，导致高延迟与高能耗。本课题旨在设计一款融合触觉与视觉的多模态感算一体芯片，并提出原位特征提取算法，以降低数据传输延迟，提升机器人响应速度。设计目标包括：设计一款集成触觉与视觉信号采集、预处理及特征提取的混合信号处理芯片；提出一种基于脉冲神经网络的跨模态信号原位特征融合算法；构建一个完整的微系统原型，实现延迟低于5ms的实时信号处理。

论文首先分析了具身智能机器人对低延迟感知的迫切需求及现有方案的不足。随后，详细阐述了感算一体芯片的总体架构与模块设计，包括模拟前端、模数转换、数字信号处理及特征提取单元。关键技术涵盖近传感器计算架构与脉冲神经网络算法。在系统实现部分，完成了芯片关键模块的RTL设计、算法仿真及微系统PCB集成。测试结果表明，所设计的原型系统在典型抓取任务中，数据处理端到端延迟降至4.2ms，功耗为85mW，验证了设计有效性。

本设计的核心创新在于将触觉与视觉的信号调理、转换及初级特征提取功能集成于单一芯片，并利用脉冲神经网络进行跨模态信息的早期融合，大幅减少了原始数据吞吐量。该方案为构建高响应、低功耗的具身智能系统提供了新的硬件基础。

关键词：具身智能；感算一体；多模态传感器；脉冲神经网络；边缘计算；