面向儿童教育机器人的多模态融合情感认知计算的研究.pdfVIP

摘要 随着信息技术的不断发展，人机交互，情感计算和社会科学领域也开始飞速 发展，学术界与公众也增加了对开发人机协作的社交机器人的兴趣。至1980年 开始，社交机器人的数目每年都成倍增长，儿童教育机器人也开始走进家庭使用 中。然而市场上销售的机器人，大多以单纯的游戏等娱乐功能为主，在人机交互 上主要采用单一的语言交互。根据调查，市面上的早教机器人尽管价格相对低廉, 但是并不能完全令家长放心，不能给孩子全方位的陪伴与教育。因此针对该现状, 我们提出了基于多模态信息的情感计算认知框架。该框架可以被应用于儿童教育 机器人当中，并结合心理学相关知识，辅助儿童在日常生活中的教育与陪伴。 本文从情感计算与认知计算两个方面对儿童教育机器人进行了深入研究。对 于情感计算而言，多模态信息对于情感的捕捉是至关重要的，我们使用Intel RealSense对儿童的多模态信息进行获取，利用PAD模型对多模态信息进行融 合计算，将计算结果进行情绪空间映射获取儿童的情感状态；对认知计算而言， 由于机器人的认知直接影响到与儿童交互时的行为决策，在情感计算基础上进行 认知决策可以起到提高准确率与真实性的作用。我们采用了 LSTM框架进行认 知计算，在交互过程中不断更新训练数据，做到机器人因人而异并随着儿童的变 化而变化。机器人行为决策后的交互输出是结合心理学知识而设计的，其 目的是 提高儿童的情感识别能力，情感表达能力，对儿童教育起到一定作用。 在论文的实验部分，我们招募了一批6/2岁的儿童进行了分模块测试与总 体测试，根据实验数据可分析出多模态信息提高了情感计算的准确度，而情感因 子在认知计算中帮助决策过程，可以让机器人与儿童交互更具有真实性，提高儿 童的社会情感能力。 关键词：人机交互；情感计算；认知决策；教育机器人 Abstract With the development of informatics technology, the academia and the public are getting interested in developing collaborative social robots Since 1980, the number of social robots has doubled every year However, most of the robots in the market are merely designed for entertainment, such as games, and could only be interacted by a single modality of speech According to the survey, although tlie price of early educational robots is relatively low, it cannot provide children with a full range of companionship and education Therefore, in order to assist parents in the education and companionship of childrens daily lives, we propose a cognitive framework based on multimodal affective computing We make research on children educational robots from two aspects: 1 Affective Computing: we use Intel RealSense to obtain the users multimodal information, calculate the fusion data by the PAD model to get the users emotional state; 2 Cognitive Computing: the LSTM framework is used for cognitive computing, and the training data is continuously updated duri