多媒体技术基础教程.ppt

计算机中的各类型媒体 数字媒体技术的内容 从多种视频源中选择一种作为视频输入; 支持不同的电视制式; 能同时处理图像信号的伴音; 可在显示器上监看输入的视频信号, 其位置及大小可调; 能将计算机生成的图像/图形/文本与视频图像迭加处理; 可随时冻结(定格)一幅画面,并按指定格式保存; 可实时压缩与存储视频及其伴音信息; 可实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等) 视频采集(捕获)卡的结构 多媒体技术的发展为MPC不断赋以新的要求。 用户使用MPC有两种途径： 一是购买具有多媒体处理功能的PC机； 二是在现有的PC机上增加媒体升级套件，如声音卡、视频卡等功能卡及其软件。 1. 视频采集卡的功能 2. 视频采集卡的工作原理 视频采集卡的结构如下图: 多通道 视频输入 A/D 转换 视频信号 帧存储器 D/A 转换 显示 输出 视频采集控制器 计算机主机 同时又是解码器 video grabber video buffer overlay conversion TV coder VGA graphics VGA VRAM MM CPU DSP Codec PCI bus video RGB monitor TV set disc 3. 视频采集卡的性能指标 1、接口 2、实时压缩功能 3、采集分辨率及帧频 4、驱动及应用程序 4. 其他功能视频卡 视频输出卡，MPEG卡，电视接收卡等 视频硬件两个主要发展领域： 一是与网络通信技术结合 由视频采集卡附加网络通信卡构成的多媒体视频会议、可视电话、视频邮件、多媒体通信终端等，以及基于宽带多媒体通信网络的ITV、VOD、远程教育、远程医疗、远程电子图书馆等系统 二是与影视制作技术结合 如：集压缩/解压缩、合成输出、特技效果为一体的影视制作非线性编辑系统 将普通计算机改造成多媒体计算机要解决的四个关键技术： 视频音频信号的获取； 多媒体数据的编码压缩和解码； 音频视频数据的实时处理和特技； 音频视频数据的输出技术。 硬件条件（声卡，视频捕捉卡，视频播放卡，话筒，音箱，有源音箱）软件条件。 信息量与数据量的关系： I=D-du I——信息量 D——数据量 du——冗余量 数据冗余是指信息所具有的各种性质中多余的无用空间，其多余的程度叫做“冗余度”。 举例：语音数据 中文广播员一分钟读180个汉字,一个汉字存储两个字节，共需360个字节。 采样频率为8kHz（人类语言带宽为4kHz）。采样1分钟，其数据量为： 8K/s×60s = 480 K B/分 一分钟的数据冗余为 480KB/360B=1000（倍）的冗余 多媒体数据压缩的可能性 空间冗余：规则物体的表面具有物理相关性，将其表面数字化后表现为数据冗余。 例如，图像中的规则物体，其亮度、饱和度及颜色相同的区域 图像数据的冗余性 时间冗余：视频信号和动画一般为位于一时间轴区间的一组连续画面，其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的同一场景画面。 结构冗余：有些图像的纹理区，图像的像素值存在着明显的分布模式。例如，方格状的地板图案等。我们称此为结构冗余。已知分布模式，可以通过某一过程生成图像。 规则有序排列的图形 知识冗余：有些图像的理解与某些基础知识有相当大的相关性。例如：人脸的图像有固定的结构。比如说嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正脸图像的中线上，等等。 这类规律性的结构可由先验知识和背景知识得到，我们称此类冗余为知识冗余。根据已有的知识，对某些图像中所包含的物体，我们可以构造其基本模型，并创建对应各种特征的图像库，进而图像的存储只需要保存一些特征参数，从而可以大大减少数据量。知识冗余是模型编码主要利用的特性。 视觉冗余：人类视觉系统对于图像场的任何变化，并不是都能感知的。 人类视觉系统对亮度变化敏感，而对色度的变化相对不敏感； 在高亮度区，人眼对亮度变化敏感度下降对物体边缘敏感，内部区域相对不敏感； 对整体结构敏感，而对内部细节相对不敏感。 根据统计分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实行压缩。 人的听觉感知机理 掩蔽效应：强盖弱 低频较高频敏感，同样声强时，实际感觉随频率而变 对相位变化不敏感 音频数据的冗余性 总之，多数情况可以预测，可以计算，可以适应，有规可循 1.3.2 多媒体专用芯片技术 专用芯片是多媒体计算机硬件体系 结构的关键。为了实现音频、视频信号