数字视频处理DigitalVideoProcessing.pptVIP

数字视频处理Digital Video Processing 主讲: 陈婧 E-mail: jingzi@hqu.edu.cn 课程要求 36学时 10-18周 Attendence:10% Discussion: 10% Presentation: 30% Theme Papers:50% Free Talk Discuss What is Video? What can we do with videos? 参考书 教材：《视频处理与通信》，Yao Wang等，电子工业出版社。 英文版：Video Processing and Communications. 其他参考书： 《通信中的视频信号处理》，郑宝龙等，电子工业出版社。 《数字视频处理》，黎洪松，北京邮电大学出版社。 《压缩视频通信》，A.H.萨达卡 课程内容 视频技术概述 第1章：视频的形成、感觉和表示 第2章：视频信号的傅立叶分析和人类视觉系统的频率响应 第5章：视频模型 第6章：二维运动估计 视频编码 第8章：视频编码基础 第9章：基于波形的视频编码 第10章：基于内容的视频编码 第11章：可分级视频编码 视频通信 第13章：视频压缩标准 第14章：视频通信中的差错控制 我们目前的工作 小波编码(图像 视频) 多描述视频编码 精细可分级（细粒度可分级）视频编码 拥塞检测与拥塞控制 Internet流视频的信源——信道联合编码 基于对象的视频编码 人脸检测、人脸识别 视频监控等 第1章 视频形成，感知和表示 1.1 彩色感觉和规定 ? 光和彩色 ? 人的彩色感觉 ? 三基色彩色混合理论 三基色表示 亮度和色度表示 ? 彩色坐标变换 光是一种电磁波 照明与反射光源 照明光源: 发光 (如：太阳，灯泡，电视屏) 可见的颜色取决于发射频率 服从相加规律 R+G+B=White 反射光源: 反射入射光 (例：染料，衣服) 可见的颜色取决于反射频率 (emitted freq = not absorbed freq.) 服从相减规律 R+G+B=Black 眼睛生理解剖 照相机与人眼睛的比较 1.1.2 人类的彩色感觉 视网膜的感光细胞 锥状细胞 (Cones)：亮光下(白天)：可感受彩色色调 分为3个主要的感觉类别：红绿蓝。65%红，33%绿，2%蓝（但蓝锥状细胞对蓝光更敏感） 不同的锥状细胞有不同的频率响应特性 人类的彩色感觉的三感光原理 杆状细胞 (Rods)： 弱光下(夜晚) ：只能感受到亮度 人眼的彩色感觉属性： 亮度(Luminance/brightness) 色度(Chrominance)：由光的波长成分决定 色调(Hue/ color tone)：色度 饱和度(Saturation/ color purity)：纯度 锥状细胞的频率响应特性 锥状细胞的频率响应和亮度效率特性 色调表示（色轮） 1.1.3 彩色混合的三基色原理 发光源的三基色：红绿蓝(Red, Green, Blue/RGB ) 彩色监视器通过不同的电子枪轰击红绿兰磷光粉发出三种光 反射光源的三基色：青紫黄 彩色打印机采用青紫黄黑四种油墨 RGB vs CMY 彩色表示方法 给出三色激励值以及相应的三基色系统 RGB CMY 给出亮度与色度 HSI (Hue, saturation, intensity) YIQ (用于NTSC 彩色电视系统) YCbCr（YUV） (用于PAL 彩色电视系统) 给出各象素点的值: 每种彩色分量8位，一个象素点24位 可表颜色 存储1幅1Kx1K RGB彩色图片需要约3 MB内存 HSI 表示法 彩色坐标变换 两种三基色系统间的坐标变换是线性的 (变换矩阵为3x3矩阵) 基色系统与 YIQ/YUV 彩色系统间的坐标变换也是线性的 Y? =? 0.299*R + 0.587*G + 0.114*BCb = -0.169*R - 0.331*G + 0.500*BCr =? 0.500*R - 0.419*G - 0.081*B 基色系统与 HSI/Lab间的变换是非线性的（a:正红，负绿，b:正黄，负蓝） 多种彩色空间（Search） 1.2 视频的捕捉与显示 1.2.1 彩色视频成像原理 对自然图像，需要有一个光源，设波长为? 单点入设光强：E(x, y, z,?) 其中 (x, y, z）为该点的世界坐标 反射函数 r(x, y, z, ?) 从一点反射到照相机到光： c(x, y, z, ?) = E(x, y, z, ?) ? r(x, y, z, ?) 1.2.1 彩色视频成像原理（cnt.） 照相机接收到的光强： 必须考虑照相机的吸收系数ac(?)——相当于人类的相对亮度效率函数 透视投影