面向可穿戴传感器多模态感知人体行为识别研究.pdf

摘要

随着智能手机和传感器技术取得技术进步，凭借着质优价低的特性推动了可

穿戴设备的广泛普及，给人类生活方方面面带来了极大的便利，在医疗保健、人

机交互、运动辅助等方面表现出了强大的优势，使得面向可穿戴传感器人体行为

识别研究具有重大意义，受到研究者的广泛关注，成为研究的热点。

目前，人体行为识别研究越来越广泛，基于视频的非接触式行为识别发展较

早，但其会受到环境光线及遮挡物的影响且容易侵犯用户数据隐私安全，而接触

式行为识别使用具备计算能力强、低成本、便携性好等特性的可穿戴传感器愈发

凸显出优越性。在早期工作中人们主要使用传统机器学习方法对数据进行分类，

简单的设计或者挖掘数据特征，并没有考虑各通道间的关系及在时间序列上表现

出的特征，获得的行为识别精度并不高。随着深度学习技术不断发展，行为识别

在深度学习的基础上取得了长足的进步，高效的模型不断提出，性能不断提升，

但现有的研究工作主要通过设计不同深度学习模型进行特征提取，提高识别精度，

而忽略了可穿戴传感器采集的多模态感知数据中信息分布不均衡、数据存在冗余

的问题。

针对上述问题，本文分别从时间角度和空间角度提出关键帧动态采样网络和

空间自适应采样网络。首先，利用BLSTM网络搭建行为识别的预处理模块，用

于原始感知数据的初始化及获得初始行为预测结果；其次，基于每一数据的初始

化信息，使用BLSTM建立选择网络，关键帧动态采样网络通过该网络预测数据

帧被选择的概率，用于消除时间冗余，空间自适应采样网络通过该网络预测数据

通道被选择的概率，用于消除空间冗余，进而确定富含关键信息的数据；最后，

使用被选择关键数据再次进行行为预测，并将初始行为预测结果和被选择关键信

息预测结果形成效用函数用于选择网络的训练。在三个公开数据集UCIHAR、

OpportunityUCIMHEALTH

、上进行实验，实验结果表明，提出的模型能够提升

行为识别的准确度和F1值。

关键词：人体行为识别；强化学习；双向长短时记忆神经网络关键帧;

IV

Abstract

Withthetechnologicalprogressofsmartphonesandsensortechnology,withthe

qualityandlow-costcharacteristicstopromotethewidespreadpopularityofwearable

devices,bringinggreatconveniencetoallaspectsofhumanlife,inhealthcare,

human-computerinteraction,sportsassistanceandotheraspectsofastrongadvantage,

makingthewearablesensor-orientedhumanbehaviourrecognitionresearchisofgreat

significance,bytheresearchersextensiveattention,becomeahotspotforresearch.

Theresearchonhumanbehaviourrecognitionisbecomingmoreandmore

widespread.Video-basednon-contactbehaviourrecognitionhasbeendeveloped

earlier,butitisaffectedbyambientlightandocclusionsandeasilyoffendsthe

privacyofuserdata,whilecontactbehaviourrecognitionisincreasinglysuperior

usingwearablesensorswithstrongcomputingpower,lowcostandgoodportability.

Inearlywork,traditionalmachinelearningmethodswereusedtocl