a00001 基于视觉特性的视频编码理论与方法研究 2008973pkuwgao终审V6.ppt

基于视觉特性的视频编码理论与方法研究 指南中的相应支持方向 国家重点基础研究发展计划2008年度重要支持方向 汇报内容 立项依据及拟解决的关键科学问题 主要研究内容、研究方案和预期目标 研究团队情况 相关的研究工作基础 总结 立项依据及拟解决的关键科学问题 视频正在改变人们的工作和生活方式 无处不在的视频 视觉信息约占人类获取信息的80%-85% 在互联网时代，视频信息最为重要：预计2012年视频占90%的通信数据量，视频使IP通信量年增46% 视频技术已经渗透到各个角落：数字电视、数字电影、网络视频、移动视频、三维视频、视频会议、视频监控、视频侦察、远程医疗…… 我国数字视音频产业背后的危机 国家安全与建设和谐社会的重大需求 重点目标(机场、青藏铁路、奥运场馆等)的监控、保卫 全国2000万监控摄像头，数据量巨大—检索困难、响应不及时 应对重大事件(自然灾害、公共安全突发事件) ，远程传送高清乃至三维现场影像，辅助抢险和支持远程诊断 国内外研究现状 基于信号处理的现行方法已经遇到瓶颈 传统视频编码方法 从信号处理层面入手，以像素、块为表示基础 基于香农信息论，采用混合编码框架：变换 + 预测 + 熵编码 视频编码的极限 数学极限 — 熵 差别感知能力 — Weber定律， 心理学模型 编码效率进一步提高已很艰难 色彩空间和变换编码已接近最优 用计算复杂度换取预测增益的空间越来越小 熵编码提高增益的路也不宽 可能的突破方向：借鉴视觉生理心理机理 通信与互联网：视频已经成为负载的主体，提高压缩效率的需求日益迫切 数字信号处理：当前视频编码技术的主流，挖掘较充分 视觉生理心理学：对视觉感知机理的认识正在深入，用于视频编码的潜力很大 视频编码可能借鉴的视觉机理及模型成果 脑部视觉系统的信息处理模型(Hubel/Wiesel ?62，1981诺贝尔奖) 拓扑性质初期知觉理论和非经典感受野理论(陈霖院士 ?82) 整合野理论、感受野“三重结构”的新理论模型(李朝义院士 ?95) 稀疏编码理论(Olshausen/Field ?96) 皮层型前馈网络模型(Poggio ?99) 增量成组假说(Roelfsema ?00) 视觉注意调节机制(Duncan ?95) 关键科学问题的导出：机理、模型、编码 关键科学问题 主要研究内容、 研究方案和预期目标 总体研究框架：3：3：7 第一层：视觉基本机理与计算模型 视觉信息处理基本机理及计算仿真 视皮层神经元群对视觉刺激的反应特性，视觉识别和学习的神经机制，运动感知与视觉注意的生理、心理基础 视觉信号在皮层网络的表示，视觉特征群组的学习机理，事件与行为的动态识别，视觉注意的计算仿真 第一层：视觉基本机理与计算模型 第二层：高效视频编码理论与方法 视觉信息论 —— 从基于像素到基于基元的熵 质量评价方法 —— 与主观感知一致 编码方法 —— 多维度可伸缩编码、分布式多视点编码、面向智能监控的视频编码 第三层：宽带移动多媒体应用原型研究与验证 视频编码算法的实现 视频编码(包括高清视频与三维视频)在视频监控、 IPTV、远程医疗上的验证与原型 基本机理 ? 计算模型 ? 编码理论与方法 课题设置及其关系 项目共分7个课题： 课题1：视觉信息处理基本机理研究 主要研究内容 视皮层的反应特性：研究视皮层神经元群对视觉刺激的反应特性 神经元对视觉编码的影响：研究神经元之间的相互作用及其对视觉信息编码的影响 神经元的动态神经机制：研究视皮层神经元群反应特性与整体特征形成机理，探索基于整体特征的事件和行为动态识别神经机制 视觉注意调节机理：研究视觉注意在视知觉组织编码过程中的作用和调节机理 负责人：李量、吕宝粮 参与单位： 北京大学 上海交通大学 课题2：面向视频编码的视觉计算模型与方法研究 主要研究内容 时空要素图模型：研究运动的统一视觉表示方法 运动基元的动态特性：在光度、几何、动力及拓扑子空间等 视频的统计分析计算方法：结合自顶向下的产生式模型和自底向上的判别式模型 视频的注意选择计算模型：基于时空要素图表示， 负责人：陈熙霖 参与单位：中国科学院计算技术研究所、北京大学 课题3：基于视觉特性的高效视频编码理论 主要研究内容 视觉信息论：提出视知觉熵的测度和数量化方法，以及视觉率失真理论，建立视觉信息论 局部模型编码：研究视频局部模型表示及其相应的视频编码方法 超分辨率编码：研究基于视觉特性的超分辨率视频编码 多光谱视频压缩与机载视频压缩：研究多光谱图像的像素亮度对比度量化编码和基于灵活条带的航拍视频编码 负责人：高文 参与单位：北京大学 浙江大学 课题4：多维度可