基于多源异构数据的船员疲劳检测研究.pdfVIP

摘要

近几年，经济全球化迅速发展，我国已成为全球的外贸强国，航运承载着我国百分

之九十以上的进出口货物运输，疲劳的影响在运输行业中尤为危险，尤其是在航运业中

影响巨大。船员疲劳是一种危险行为，其影响船员对技能、专业知识和培训水平的正常

认知，从而削弱了船员安全高效工作的能力。在研究船员疲劳的领域中，主要内容是对

影响其疲劳的多种因子进行深入研究，其涉及船员面部特征分析、生理信息特征和多属

性多特征信息融合等。大多数专家和学者在研究船员驾船过程中的疲劳行为较少，通过

多源异构数据借助相关信息处理技术进行研究疲劳驾驶的更少，由于疲劳是可以由于多

方面因素产生的，仅凭借单一方向的技术来判断疲劳显然是不够准确的，不能够完整的

辨识疲劳的产生。因此，通过智能设备采集多源异构数据，运用机器视觉和数据挖掘技

术来分析船舶驾驶员面部特征和生理表现等信息，从而深入分析船员疲劳状态具有重要

意义。

本文采用视频图像分析技术等相关疲劳检测理论方法，通过采集的船员的生理姿态

特征信息和图像视频信息，分别获取它们的特征，做出相应的决策，然后融合本地决策

进行处理，最终判断船员是否处于疲劳状态。主要工作如下：

（1）实验设计与数据采集。基于船舶驾驶台操作模拟器、摄像头、智能手环等硬

件设备进行模拟仿真实验，分别采集在不同场景操船情况下的视频、生理信息数据。

（2）研究基于视频图像的船员疲劳检测方法。借助OpenCV和Dlib等开源的库，

应用神经网络算法对船员脸部关键点进行定位，识别出眼嘴鼻子等关键部位，计算眼嘴

部状态以及头部姿态等特征，对船员疲劳情况进行了分析。基于视频图像检测方法最终

筛选出的指标为：眼嘴部横纵比和头部姿态。

（3）研究基于智能手环的疲劳检测办法。通过智能手环采集的心率和睡眠时间数

据。将能表征心率的光电容积脉搏波技术（PhotoPlethysmoGraphy,PPG）进行一系列处

理后，计算船员的心率指标；同时结合《中华人民共和国海船船员值班规则》判断船员

的睡眠状况，来检测船员的疲劳状态。基于手环数据检测方法最终筛选出的指标为：睡

眠时间和心率变异性。

（4）研究基于多源异构数据的疲劳检测。采用一种多源异构数据融合技术，将基

于视频图像得到的特征信息和基于手环得到的生理指标特征通过模糊集理论的方法进

行决策级融合，最终判断船员是否疲劳的方法。

关键词：船员疲劳；多源异构数据；数据挖掘；图像处理

TheStudyonCrewfatigueMonitoringbasedonMulti-source

heterogeneousdata

Abstract

Inrecentyears,therapiddevelopmentofeconomicglobalization,Chinahasbecomea

globalforeigntradepower,shippingcarriesmorethanninetypercentofChinasimportand

exportcargotransportation,theimpactoffatigueisparticularlydangerousinthetransportation

industry,especiallyintheshippingindustryhasahugeimpact.Crewfatigueisadangerous

behaviorthataffectsthecrewsnormalperceptionoftheirskills,expertiseandtraininglevel,

thusweakeningtheirabilitytoworksafelyandefficiently.Inthefieldofstudyingcrewfatigue,

themaincontentisthein-depthstudyofmultiplefactorsthataffecttheirfatigu