媒体认知实验教学改革研究和探索.doc

媒体认知实验教学改革研究和探索 　　摘要：媒体认知实验课程是清华大学电子信息学科在课程体系改革过程中提出的一门创新性前沿必修课程。文章阐述全面覆盖人机感知交互、媒体信息处理、虚拟现实及信号处理领域的一套基于英特尔RealSense设备的探索前沿型实验教学课程内容及平台特点，分别介绍三维手势识别实验项目和三维虚拟交互行为分析实验项目，旨在培养学生的智能感知技术开发能力，掌握成为感知技术前沿领域高层次专业人才必需的各项基本技能和专业知识，采用集体创新培养和个人研究探索相结合，最终达到理工与人文、技术与艺术、感知与思考的高度融合。 　　关键词：ReaISense；媒体认知；智能感知；机器学习；人机交互 　　1 媒体与认知实验课程建设概况 　　电子信息科学与技术是以物理和数学为基础，研究通过电学形式表达和操控信息的基本规律以及运用这些基本规律实现各种电子系统的方法。在进入电子时代和信息社会的今天，电子信息科学技术已渗透到各个领域。随着电子信息技术日新月异，电子信息教学领域也面临着全新的挑战，需要培养具有全方位视野和超强能力的新一代工程师及领导者。本着这一目标，清华大学电子系自2008年开始着手进行课程改革，通过改革课程体系将原有课程重新整合，从学科范式的角度整理出电子工程本科教育的知识体系结构，从而梳理出新的本科课程体系，形成了电子信息领域学科地图。 　　媒体与认知是电子系在课程改革中提出的一门全新的核心必修课程，位于电子信息领域学科地图的最上层，通过对媒体信息、认知科学及信号处理领域开展具体、深入的研究及实践，在学乍充分了解领域知识的前提下，用文、理、工相融合的眼光看待该学科发展历史、研究现状、最新研究进展以及未来课题，为今后开展高水平、创新性的研究铺平道路。该课程结合清华大学电子系已经落实的本科教学改革以及在教学、科研、学科建设等方面的实践成果，通过培养学生的创新性思维推动工程学和管理学、社会科学和人文科学的结合，培养素质全面的人才。 　　媒体与认知实验课程借鉴国际顶尖高校及清华大学电子工程系的前沿科研项目内容，实现智能感知和机器学习领域的科研成果向实验技术和实验教学转化。该实验课程基于电子系梳理出新的本科课程体系，通过设计开发一套完整的以实时智能感知技术为基础的前沿探索型实验教学课程内容及平台，涵盖三维人机感知交互、媒体信息处理、虚拟现实等领域；建立具有未来探索性的智能感知技术实验教学方法，实施跨学科、多层面、综合性的学习与实践，在课程量不变的同时提高教学效果和拓宽知识层面；突破传统验证性实验课程及平台因采取基于目标或任务导向而导致高素质人才培养与国际化培养方式存在较大差异的瓶颈，解决了知识量膨胀和学时有限之间的矛盾，实现了培养智能感知领域未来领军人才的目标，充分体现了实验教学科研工作在学校人才培养方面的重要意义。 　　2 媒体与认知实验课程特点 　　媒体与认知实验构建了一套以实时智能感知技术为基础的探索前沿型实验教学课程及平台，在设备和设计内容方面均与国际水平接轨，具有如下特点。 　　1）教学互促。 　　该课程采用教学互促的设计模式，通过设计实现一整套进阶互动的实验教学方法和步骤，将教学互动的理念贯穿于全部课程设计、平台实施、项目更新等阶段，充分实现教学互动的作用。 　　2）知识延伸。 　　该课程设计上着重强调通识教育和学科交叉，提高学生的综合素质和适应能力。通识教育有利于培养知识面宽的复合型人才，确保学生全面发展，提高学生的综合素质；文、理、工知识交叉渗透使学生可以从多角度和多学科运用知识处理实际问题。 　　3）技能拓展。 　　在对该平台进行学习和研发的过程中，学生的理论课程知识不断巩固加深，同时学生需要自主提出多个学科和研究方向上的全局及局部解决方案，拓展包括项目规划、知识交叉、三维感知设计、跨平台编程等多方面技能。 　　4）设备复用。 　　利用全新的英特尔三维智能感知设备ReaISense可以实现手势识别、人脸识别、语音识别、场景识别等智能感知功能。英特尔的ReaISense设备是一种能通过采集视觉、深度、音频等多种媒体信息获得手势、语音等表征意图的智能感知设备，可以广泛应用于自然互动、沉浸式协作与创作等创新应用，能够帮助开发人员在游戏、娱乐和内容创建交互方面实现新的突破。 　　3 三维手势识别实验项目 　　肢体语言是人类传递信息的一种重要方法，利用人体的姿态实现自然、高效的人机交互已经成为热门的研究方向。在以人为中心的环境中如何对人以及人的意图进行正确认知，是提高人机交互水平的关键因素，而基于手势识别的人机接口能够保证人机交互更加自然和有效。手势功能主要分为图l中的几种。 　　近年来，基于机器视觉的手势识别技术正逐步成为人机交互研究的热点。美国Stanford大学提出一种基于Ki