基于下肢传感器信号的通用价值函数的自适应行走控制分层强化学习框架-计算机科学-机器学习-强化学习-康复技术.pdfVIP

基于下肢传感器信号的通用价值函数的自适应行走控制分层强化学习

框架

SonnyT.JonesGrangeM.Simpson

DepartmentofBiomedicalEngineeringDepartmentofBiomedicalEngineering

UniversityofUtahUniversityofUtah

sonny.jones@grange.simpson@

PatrickM.PilarskiAshleyN.Dalrymple

AlbertaMachineIntelligenceInstitute(Amii)DepartmentofBiomedicalEngineering

DepartmentofMedicineDepartmentofPhysicalMedicineandRehabilitation

DepartmentofComputingScienceUniversityofUtah

本UniversityofAlbertaashley.dalrymple@

译pilarski@ualberta.ca

中

1Abstract

v

3

8康复技术是研究人类和机器代理共享学习与决策的自然环境。在这项工作中，我们探讨了分层强化学习（HRL）的应用，

9以开发适应性控制策略来改进下肢外骨骼，旨在提高运动障碍个体的移动性和自主性。受到生物学感觉运动处理突出模型

6的启发，我们的研究HRL方法将复杂任务分解为高层框架，用于地形策略适应和低层框架，提供预测信息；这一元素通过

1

.持续学习一般价值函数（GVFs）实现。GVFs生成来自多个可穿戴下肢传感器（包括肌电图、压力鞋垫和角度计）的未来

7

0信号值的时间抽象。我们研究了两种方法将实际和预测的传感器信号整合到策略网络中，意图提高跨不同地形行走时下肢

5外骨骼控制系统决策能力。一个关键结果是，来自GVFs的预测增加了整体网络准确性。在平坦地面、不平地面、上坡和

2

:下坡以及转弯等经常被误分类的地面上行走时，特定地形性能有所提高。这表明预测信息可以在不确定性期间帮助决策，

v

i例如在有高几率被误分类的地形上。因此，这项工作为HRL的细微差别提供了新的见解，并为促进安全穿越不同步行环

x境的外骨骼未来开发做出了贡献。

r

a

Keywords:分层强化学习，持续深度学习，通用价值函数，外骨骼，行走

Acknowledgements

此项工作得到了生物医学工程系和物理医学与康复系的支持。STJ获得了来自工程学院的Campbell捐赠研究生奖学金的

支持。PMP获得了NSERC、Amii和加拿大CIFAR人工智能讲席计划的支持。

1介绍

下肢外骨骼有潜力帮助患有各种神经肌肉缺陷（包括中风和脊髓损伤）的人恢复行走能力[1]。日常社区步行需要能够调整

步态以适应环境特征和行进地形的能力[2]。然而，目前的外骨骼控制器不具备自适应性，依赖用户手动物理输入来切换不

同的固定控制策略，限制了它们在实际使用中的效果[3]。有必要开发自适应外骨骼控制器以帮助安全过渡和穿越可变地

形。为辅助设备开发这些控制策略可以增强因运动功能障碍而受到影响的个体的整体自主性和移动性。

分层强化学习（HRL）通过将复杂任务分解为多个随时间可适应的较简单子任务，提供了一种简化这些任务的有前景的方

法。先前的工作利用了一个由通用价值函数（GVFs）和RL代理组成的架构来进行Android环境中的手势控制决策[4]。我

们采用HRL方法将控制问题分解为两个组成部分：1)高层框架自适应预测个体行走的地貌；2)提供下肢传感器信号的预

测信息以通用价值函数形式给高层框架以进行