计算机动画与感知课题组-浙江大学软件学院.DOC

2017年浙江大学软件工程硕士卓越工程师计划创新基地 计算机动画与感知课题组 课题组简介 计算机动画与感知课题组依托于浙江大学CADCG国家重点实验室，在人机交互、虚拟现实、计算机视觉、机器学习、游戏与动画、移动互联网等领域有丰富的科学研究与项目实践积累。课题组负责人为耿卫东教授、博导，浙江大学数字媒体与网络技术系主任。2004年入选浙江省151人才工程第二层次培养对象，2007年入选教育部新世纪人才计划。近年来，课题组承担了国家重大研发计划的重大专项、国家863高科技计划项目、国家科技支撑计划项目、国家自然科学基金项目、浙江省地方科技重点项目、信息产业部电子发展基金重点招标项目、国家计委项目、香港政府创新科技基金项目等课题，发表了一系列高水平的科研论文，项目组的研究成果曾被中央电视台报道，并在国家科技馆常年展示。实验室培养的硕士生或进入国内外知名IT公司和国企（如微软、百度、网易、腾讯、淘宝、微策略等）；或获得欧美知名高校（如北卡、INRIA等）全额奖学金出国深造。 计算机动画与感知课题组欢迎有志于科学研究或项目开发的同学加入！更多关于课题组的介绍，参见以下网站。 / 项目简介 新型感知交互关键技术研究与应用 随着计算机视觉、语音识别、表情识别、触摸交互、运动感知、投影显示等新技术的迅猛发展，感知用户界面（perceptual user interface，PUI）成为了人机交互领域的研究热点。如何使计算机与人之间的交互能够自然地模拟人与人之间的交互已经变得越来越重要。作为新型人机交互形式，PUI的终极目标是实现“以人为中心”的人机界面，即在人机交互过程中，计算机能够适应人类的自然交互习惯，而不是要求人适应计算机的特定操作要求。为了使计算机能够更好地判断和理解人类的交互意图，“生、机、电一体化”是未来人机交互发展的重要趋势之一，即通过特定的传感设备将生物体的认知或感知信号（如肌电信号、脑电信号）数字化，并与其他感知或认知通道的信号进行集成融合，自然、协同地完成各种人机交互任务。本项目重点研究把肌电生理信号和运动传感信号融合在一起的新型人机交互技术，研发可穿戴的交互设备，并面向移动计算平台，使得计算机能够准确高效地识别人类的交互手势。课题组新近承担了国家重点研发计划云计算和大数据重大专项“云端融合的自然交互设备与工具”项目的相关课题，研制穿戴式动作捕捉系统、手势获取及体感控制器等交互设备和中间件，开发支持手势、体态、生理等多种以上自然交互方式的人机交互应用系列套件，并在基础教学与云教育、移动办公与远程协作、运动与康复医疗等领域进行规模化应用。 数据驱动的自动编舞与配乐技术 面向文化创意产业中的编舞与配乐等创作需求，在统一的计算框架与特征空间上探索建立具有通用性的音乐与舞蹈的内在关联计算模型，研究开发基于数据驱动的自动编舞与配乐技术与算法，并在此基础上设计和实现一个计算机辅助编舞与配乐的原型实验系统。动作与音乐是两种不同感知通道的时序数据，各自具有独特的韵律特点，同时在高层认知上又具有紧密的联系。自动化编舞和配乐需要一个可计算的，具有时变属性的音乐与舞蹈的相互映射关系模型，该模型应当能够建立动作和音乐在感知计算上符合人类认知的内涵和高层语义的内在关系。本项目拟开展的具体研究内容：音乐和舞蹈的特征分析与纹理空间构建；基于音乐和舞蹈的纹理空间，构建统一的音乐与舞蹈关联计算模型；音乐和舞蹈的多维评估与一体化编排；音乐和舞蹈的实时编排方法；基于上述模型与方法，分别考虑深思熟虑和即兴创作的需求，设计实现计算机辅助编舞和配乐的原型系统，对相关模型与方法进行验证。 基于移动终端的场景理解和用户行为感知研究 利用移动终端的相机等视觉传感器，并融合陀螺仪、加速度等运动传感器，综合应用计算机视觉、机器学习与模式识别、数字几何处理等，来感知用户的行为，理解用户所拍摄的场景中的物体的姿态，并重建出场景的三维模型等。同时，也和浙江大学光学仪器工程中心合作，研究开发可用于移动终端的新型光学构件，用于获取视场中的深度等信息。拟在未来的3-5年内，研制并发布一系列与场景理解和用户行为感知的APP，为移动互联网所衍生出的新业态提供关键技术支撑。 结合深度机器学习和大数据人工智能的照片/视频内容理解 在世博会、APEC和G20等重大活动中，视频监控在公共安全保护工作中发挥了重要作用。从单目视频流中获取行人的三维运动并进行辨识（Person Re-identification）是监控视频研究领域中十分具有挑战性的课题之一。本项目的研究任务之一是识别和关联在不同时间、出现在不同地理位置（摄像机）的行人。本项目拟基于深度机器学习，从单目、无标记点视频序列中，恢复三维人体运动，并实现不依赖于外表特征的行人辨识方法。 此外，目前在电视节目等领域，已经积累了大量的视频大数据，