多媒体通信技术的现状和待解决问题.doc

多媒体通信技术的现状与待解决问题 张海涛 郭大波 (山西大学商务学院 山西太原 030031) 摘要：多媒体通信技术的出现大大缩短了计算机、通信和电视之间的距离，将计算机的交互性、通信的分布性和电视的真实性完美地结合在一起，向人们提供全新的信息服务。文章介绍了多媒体通信的基本框架，多媒体通信系统的几个技术难点，重点论述了视频压缩技术，包括：视频压缩原理、原始数据对带宽的要求、视频数据可被压缩的上限、视频压缩编码的现状和历史。 关键词：媒体 多媒体技术 多媒体通信 视频压缩 1.引言 媒体(medium)在计算机行业里，媒体有两种含义：其一是指传播信息的载体，如语言、文字、图像、视频、音频等；其二是指存贮信息的载体，如ROM、RAM、磁带、磁盘、光盘等，目前，主要的载体有CD-ROM、VCD、网页等。多媒体是近几年出现的新生事物，正在飞速发展和完善之中。我们所提到多媒体技术中的媒体主要是指前者。多媒体技术（Multimedia Technology）是利用计算机对文本(text)、图形(graphics)、图像(image)、声音(sound)、动画(cartoon)、视频(video)等多种信息综合处理、建立逻辑关系和人机交互作用的技术。多媒体技术所涉及的对象是计算机技术的产物，而其他的单纯事物，如电影、电视、音响等，均不属于多媒体技术的范畴。它极大的改变了人们获取信息的传统方法，符合人们在信息时代的阅读方式。多媒体技术的发展改变了计算机的使用领域，使计算机由办公室、实验室中的专用品变成了信息社会的普通工具，广泛应用于工业生产管理、学校教育、公共信息咨询、商业广告、军事指挥与训练，甚至家庭生活与娱乐等领域[1]。 多媒体通信技术 多媒体通信(multimedia communication)是多媒体技术与通信技术的有机结合，突破了计算机、通信、电视、等传统产业间相对独立发展的界限，是计算机、通信和电视领域的一次革命。他在计算机的控制下，对多媒体信息进行采集、处理、表示、存储和传输。多媒体通信系统的出现大大缩短了计算机、通信和电视之间的距离，将计算机的交互性、通信的分布性和电视的真实性完美地结合在一起，向人们提供全新的信息服务[2]。图2.1为多媒体通信的基本框架。 (a) 图2.1多媒体通信的基本框架 多媒体通信的流程为：首先将CCD采集的视频信号或由麦克风采集的声音信号进行带限滤波，然后进行A/D（Analog to Digital）变换，即抽样、量化、编码将模拟信号变换成数字比特流。DSP芯片的输入是A/D变换后得到的以抽样形式表示的数字信号，DSP（DM6437）芯片对输入的数字信号进行某种形式的处理，如数字滤波、压缩编码、降噪等。根据不同的应用，处理后的数据就可进行网络传输或存储[3]。同时数字信号再经解码、D/A（Digital to Analog）变换转换为模拟样值，之后再进行内插和平滑滤波就可得到连续的模拟波形，输出至显示设备或音响设备。 多媒体通信系统有以下几个技术难点。输入设备：?录音设备与声卡技术?摄像头技术；显示技术：?真彩色高分辨率显示技术?三维技术；处理技术：?压缩技术包括语音压缩、图像压缩、视频压缩?识别技术包括语音识别、人脸识别、手语识别；传输技术：?流媒体技术?P2P技术。 多媒体面临两个难题。第一，信息的获取，包括：过采样带来的冗余、数据 的传输和数据的存储。第二，信息的表达，包括：准确和丰富两个方面。本文重点讨论视频压缩技术。 视频压缩技术 3.1视频压缩原理 信息是事物本原的描述,单位是信息熵。数据是事物(在X系统中)的纪录,单位是字节/比特。数据量不等于信息量,数据量大于等于信息量，相差的是冗余。多媒体数据的冗余有视频冗余和音频冗余。视频冗余包括：均匀采样冗余（绝大多数区域过采样）和感知冗余（眼睛对视频的感知是主观的）。音频冗余包括：均匀采样冗余和感知冗余（耳朵对声音频率的感知是非线性的）。 图3.1视频信号的相关性及信息冗余 （1）感知冗余 由于人眼视觉的非均匀性，使得人眼视觉对于某些空间频率感觉迟钝，视频中不同频率成分的内容对于人眼系统而言其重要性是不同的，也就是说存在频域冗余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。因此可以对色度分量进行下采样，同时可保持主观视觉质量不变。YUV4:2:0 色差格式就是对色度分量在水平和垂直两个方向进行 2:1 的下采样[4]。另一方面，对信号频域的各个分量可以采取不同的量化步长，将人眼视觉不敏感的分量去除，而不会引起主观质量的下降。 （2）空间冗余 空间冗余是指在同一帧画面中，相邻的像素间存在空间相关性（spatial correlation），特别是当这些相邻像素位于同一个视频对象中时，相