[信息与通信]多媒体通信讲稿.doc

第一章　概　论 1、2　概念含义 多媒体——多种媒体：声音、图象、图形、动画等 　　　　——交互性　双向通信（平衡），交互通信ADSL（不平衡） 　　　　——发展过程：简单到复杂，单机到网络 1、3　技术背景： 三大技术：（1）信息处理技术（编解码技术） （2）通信技术：信息从一个地方传到另一个地方或数据在网络上共享，建立多媒体数据库。 （3）终端技术：信息采集、获取、显示，含虚拟现实终端（远程医疗）。 图象压缩编码技术的成熟：高压缩，高速度 大规模IC技术的进步 大容量数字存储技术的发展：CDROM、MD等 网络技术：Internet 1、4　多媒体计算机---单机 多媒体终端---(1)多媒体计算机(2)彩色电视机 多媒体通信系统特征（P11）：多媒体信息的处理传输， 交互式工作， 网络连接即网络为载体 1、5　多媒体通信系统类型、特点与相关业务 1、独立商亭系统：电信、商用、广告等。 2、多媒体信息检索与查询：基于WWW的超级连接、统一资源定位器URL。（基于关键词，基于内容的检索与查询） 3、多媒体会议与协同工作 a、直接利用广播电视的电视会议（1点对多点） b、可视电话（点到点） c、会议电视系统（多会场）（P16图1－5） d、桌面会议电视系统（白板、多点——1点） e、视听会议系统（有图、文、声） f、多媒体会议电视系统（协同功能、交互功能、记录功能等）（p17） g、多媒体协同工作（报刊、CAD等）　yahoo mesenger为例说明 h、虚拟现实终端（补充P136） 4、点播电视　(1)带宽1.5MB/S 6MHZ图象，质量高，管理质量好。（2）互动，统计结果决定播放内容 VOD系统简单示意图说明p19图1－6（有权限、用户的管理等）。视频服务器：P20图1－7 费用问题：包月，流量制？ 导致准VOD(N－VOD) 　 综合统计播放（图1－8,1－9）p22 开放式VOD：（1）服务器的吞吐能力可模块化扩展 （2）能够从多种信源向系统输入信号 （3）具备层次化存储结构 （4）与多媒体信息检索与查询业务的融合 （5）对不同终端兼容性 5、多媒体信件（文件夹带多媒体信息） 6、信息高速公路　光纤网调整　　10Gb/s 习题：2、4、8 第三章　数据压缩基本技术 基于信息冗余度的压缩。基于信道的压缩方法 3.4取样频率的转换 1、整数比率转换 大 小 低通后重采　FIR抽头问题p51 小 大 内插p51 书上一种方法可降低内插滤波器的频率p53图3－7 2、分数比率转换 使用最小公倍数转换技术，先内插到最小公倍数的频率后再对所得得序列用f2重新取样。P54图3－8 变比率转换则更复杂。 3、5预测编码 3、5、1　DPCM P56图3－9 3、5、2　序列图象运动矢量估值 1、必要性：图象中运动部分较少，不必要整幅传送P58　几个假设条件（3点）P58 2、块匹配方法 用16×16子块在各幅中找最相似的块。 减少计算量可设定一定小范围寻找。 用相关系数进行判断，最相似块的位移量作为位移矢量 简化法（1）子块亮度均方差值MSE 　　　（2）亮度差的绝对值的均值MAD　P60 　　　（3）子块内匹配像素个数NTAD 在不同的搜索方法（1）全搜索 　　　　　　　　（2）二维对数法 （3）三步法　P60~61 （4）共轭方向法 （5）正交法 3、像索递归法： 在运动的区域内迭代进行 Di　　=　 Di-1　+　　Ui　　　当DFD帧间差值的平方达到最小时，此时的Di　是位移矢量的实际值。 3、5、3　运动补偿帧间预测 　　P65图3－19方式进行，前向、双向两种 3、5、4　运动补偿帧间内插 P67图3－22　用线性内插恢复丢失帧，当图象中包含运动物体时，用具有运动补偿的帧间内插可得到较好效果。 3、6　正交变换编码 3、6、1　线性正交变换：正交矩阵、KL变换P70 3、6、2　离散余弦变换P71　DCT 3、7　子带编码 工作原理P74　图3－24 多个滤波器分别滤出各个子带分别处理后合成恢复。?Wk可以不同大小 好处P74：1、量化可根据语言敏感度调整， 不敏感---粗量化 敏　感---精量化 2、噪声影响相对较小（宽带） 混叠失真问题P76图3－27 3、7、2　正交镜像滤波器组 设立一些限制条件，使失真的子带在解码过程中自动抵消，减少混叠失真 具有偶数个抽头的对称及反对称的FIR滤波器 P77 3－95～3－99 3－100　　 满足3－95～3－100条件的滤波器组可消除混叠　　影响 3－114式　引入延时而已 3、8　量化： 　　　均匀量化---一般 　　　非均匀量化---改善信噪比 自适应量化---过快变化时的加速跟踪 最小熵量化器，N足够大时 　　　均匀量化 DP