基于强化学习的植入式脑机接口神经信息解码：算法设计及应用-生物医学工程专业论文.docx

浙江大学博士学位论文 浙江大学博士学位论文 摘要 摘要 脑机接口直接将大脑的运动信息解析成外部设备的控制指令，实现了大脑与 外界环境的直接交互，为残障患者重建运动功能提供了一种新的途径。目前主要 的神经解码算法分为基于监督学习和基于强化学习两大类。相比于基于监督学习 的解码模型，基于强化学习的神经解码的特点在于：(1)无需实际的用户肢体行 为数据；(2)允许用户通过试错的方式学会动态地操控外部设备。这类解码算法 可以追踪到时变的神经活动，并实现用户和解码器的相互适应，能够保持长期稳 定的解码性能。目前，该方向的研究主要集中在离散、简单的任务上。但是，脑 机接口任务日益复杂多样，传统的强化学习算法难以满足其解码要求，而尚无针 对复杂任务的强化学习解码算法的相关研究报道。 本文研究基于强化学习的神经解码关键技术，聚焦于连续、复杂任务中状态 一动作空间大而探索困难，时间信用分配导致学习速度慢，以及神经信号中混有噪 声导致自适应解码性能降低等存在的难点问题。针对上述挑战，本文采用高效的 强化学习算法探索复杂的神经状态．动作空间，重建连续的运动轨迹；结合核自适 应滤波器理论，设计新的解码算法实现非线性解码的全局最优解；引入相关熵抑 制噪声对自适应解码性能的影响，从而实现鲁棒、稳定的神经解码。本文的主要 研究内容及创新点如下： 1． 针对复杂神经状态．动作空间中探索困难的问题，本文提出采用attention gated reinforcement learning(AGREL)算法预测center-out任务中连续的2D摇杆轨 迹。AGREL利用即时奖赏更新参数而不易受初始值影响，以及soflmax策略依据 概率选择最优与次优动作以避免解码性能的波动。与传统的Q学习算法相比， AGREL将预测轨迹和真实轨迹之间的相关系数提高了5．88％，均方误差则降低了 41．66％，平均总目标到达率提高了28．01％。此外，相比于静态模型，自适应的 AGREL保持多数据段的解码精度在85％以上，延长了脑机接口系统的使用时间。 2． 针对以往方法只分配时间信用而导致训练时间过长的问题，本文提出空 间信用分配，实现在多物体的复杂环境中区分潜在目标。结合AGREL高效的误 差信号机制与核自适应滤波器理论，本文首次设计了quantized attention gated reinforcementlearning(QAGKRL)算法，实现非线性神经解码的全局最优解。该算 法还利用量化方法压缩神经网络的拓扑结构以降低计算复杂度。与AGREL相比， 万方数据 浙江大学博士学位论文 浙江大学博士学位论文 摘要 QAGKRL在避障任务中的平均成功率显著提高，保证了解码的准确性和稳定性。 3． 针对由神经信号中噪声降低解码精度的问题，本文引入最大相关熵准则 作为AGREL和QAGKRL的优化函数，能够降低解码模型对异常值等噪声的敏 感性，从而提高解码性能。基于最大相关熵准则的AGREL和QAGKRL在避障 任务中的平均总成功率分别提高了12．56％和6．08％。 综上所述，本文尝试解决了基于强化学习的脑机接口中连续、复杂任务的神 经状态．动作空间探索困难问题、空间信用分配问题以及神经信号的降噪问题。本 文深入探索了一系列基于强化学习的解码算法，并应用于复杂多样的任务，实现 了稳定、鲁棒的神经解码，为脑机接口的未来发展打下了坚实的基础。 关键字：脑机接口；神经解码；强化学习算法；空间信用分配；最大相关熵准则 万方数据 ————_———●—●—————_————————————-———————————_——_———————————^——————————————————————————一一 ————_———●—●—————_————————————-———————————_——_———————————^——————————————————————————一一浙江大学博士学堡笙奎 垒!!!：!!【_ Abstract Brain machine interfaces(BMI)directly translate the brain activity into commands to control the external devices，which achieves a dir