仿人头像机器人人工情感建模与实现的研究-机械设计及理论专业论文.docx

Classified Index: TP242.6 U.D.C: 681.5 Dissertation for the Doctoral Degree in Engineering RESEARCH ON MODELLING AND REALIZATION OF ARTIFICIAL EMOTION FOR HUMANOID HEAD PORTRAIT ROBOT Candidate: Meng Qingmei Supervisor: Prof. Qu Jianjun Assistant Supervisor: Prof. Wu Weiguo Academic Degree Applied for： Doctor of Engineering Speciality： Mechanical Design and Theory Affiliation： School of Mechatronics Engineering Date of Defence： June, 2009 Degree-Conferring-Institution： Harbin Institute of Technology 摘 要 随着仿人机器人应用领域的不断扩展，人类对仿人机器人具有“情感”的 需求越来越高。仿人头像机器人是仿人机器人研究领域中实现人机情感交互的 重要方向。情感能够提高机器人的便利性和可信度，同时可以向使用者提供机 器人的内部状态、目标和意图等反馈信息。目前国外对该方向研究还处于不断 探索和完善阶段，而在国内关于该方向的研究主要集中在情感模型理论研究， 对于机器人的情感模型应用研究成果报道较少。本课题以仿人头像机器人相关 技术为手段，构建仿人头像机器人软硬件研究平台，通过理论、仿真和实验对 仿人头像机器人人工情感建模与实现进行深入研究。本文的研究为未来人类与 机器人共存，实现与人类的交流奠定基础。 从情感心理学的认知角度出发，建立仿人头像机器人的人工情感模型，使 人工情感通过情感表达的数学模型实现。在模型中确定系数矩阵反映个性对情 感的影响程度，并根据情感和情感转换实现对人工情感的描述。其中人工情感 的情感交互采用基于有限状态机理论建立分层式的扩展有限状态机情感交互模 型。情感交互模型的行为主要由底层的状态机完成，通过设定状态参数变量集 合为机器人行为控制提供依据。在模型中，通过情感的状态转换表和状态转换 矩阵研究情感有限状态机的情感转换情况；根据有限状态机与马尔可夫链的关 系，计算情感有限状态机模型的平稳概率分布；通过状态转换图中的情感转换 路径表达状态机的情感行为。在人工情感模型的基础上进行了情感仿真，通过 仿真验证了人工情感模型的正确性，并为实验研究提供依据。 针对情感的外界刺激，研究视觉和听觉信号的提取与识别。在视觉信号中， 主要针对人脸的面部表情进行特征提取和识别。通过积分投影和基于知识的方 法提取面部表情特征值，采用模糊神经网络的方法进行面部表情的识别。其中， 在构建模糊神经网络结构中，采用模糊聚类的方法进行中心参数的调整，采用 最小二乘法来调整连接权值；在语音信号的提取与识别中，采用连续混合高斯 隐马尔可夫模型完成。通过短时平均能量和短时过零率来实现语音信号的端点 检测，以 12 阶 Mel 倒谱系数和短时能量作为语音识别的静态特征参数，采用 它们的一阶差分作为动态特征参数。 在仿人头像机器人“HFrobot-II”基础上构建具有视、听觉功能的仿人头像 机器人“HFrobot-III”。该机器人包括机器人本体、运动控制系统、感知传感器 系统三部分。机器人本体实现眼球、眼睑、下颚等部件运动，基于面部表情编 码系统(FACS)，通过控制柔性皮肤上的特征点运动实现机器人的面部表情和动 I 态口形。在机器人上构建 CCD 传感器和语音识别单片机实现机器人的视觉和 听觉功能。 仿人头像机器的人机情感交互实验研究。在仿人头像机器人的情感再现实 验中，得出机器人 6 种基本面部表情(正常、微笑、吃惊、厌恶、悲伤和生气) 和机器人的动态口形，验证了仿人头像机器人的情感表达能力。在情感再现实 验的基础上进行机器人的情感人机交互实验，通过与人类的语音和面部表情的 交流，机器人做出相应的反应。实验结果表明仿人头像机器人的人机情感交互 能力，验证了人工情感模型的正确性和有效性。 对仿人头像机器人人工情感建模与实现的研究结果表明人工情感模型能够 较好的满足人机交互的需求。本论文的研究结果为机器人的“仿人”特性的进 一步深入研究和实际应用提供参考价值。 本文的研究内容是在国家“863 计划”项目“具有表情智能的仿人全身机 器人系统集成化设计及基础技术验证”(2006AA04Z201)及哈尔滨工业大学跨学 科交叉基金“具有六种面部表情及视觉的类人头像