适应网络传输的复合多媒体数据格式-人机交互与媒体集成研究所.pdfVIP

适应网络传输的复合多媒体数据格式 车轶 廖春元 史元春 清华大学计算机科学与技术系，北京，100084 摘要：随着网络技术的不断提高，越来越多的多媒体数据在网络上传输。如何在传输、特别 是自适应的传输中保证复合多媒体文档中的同步语义是一个难点问题。本文为此设计实现了 一种集成数据流格式 ISF（Integrated Stream Format），通过时间戳解决网络传输中各种 数据的同步问题，并且支持多种媒体格式，扩展性非常好，特别考虑自适应传输的需求，可 因不同的网络带宽、用户要求和终端处理能力，提供当前有限条件下最好的服务质量。 关键词：多媒体 复合文档 自适应传输 同步 服务质量 1．前言 当今世界已经进入了网络时代，网络成为信息的主要载体，传输媒介更是多种多样，各 种媒体格式的数据都被应用其中，如文本、图片、网页，以及音频、视频等等。目前，对于 这些多样的媒体数据，都是分别处理的。而在应用中，复合的多媒体文档往往具有更实际的 应用语义，因而我们希望有一种格式统一地组织和存储多媒体数据，以使传输的数据有一个 完整的文件备份，可以方便地进行管理。另一方面，这个数据格式还要有比较好的扩展性， 可以比较容易地加入新的数据类型，这样即便将来出现了更多种的数据，这种格式只需稍加 扩展便可继续使用。 同步问题被认为是多媒体系统的一个重要特征1，由于传输的复合文档是各种媒体的集 成，所以保证同步是格式的一个重要内容。例如，在两个人进行讨论的一个计算机会议中， 就存在音频/视频的唇同步，以及屏幕显示中鼠标指针的移动与讲话的同步，这都属于现场 同步，目的是准确再现一个演示中在采集过程就存在的时间关系。又例如，在用来生成复合 多媒体对象的系统中，我们要定义对象间的时间关系，这就属于合成同步，目的是在演示时 保证以制定的同步关系按时显示各个对象。由于复合文档要在网络上传输，很可能丢帧、乱 帧，就很容易导致同步出错。不管是现场同步，还是合成同步，丢帧、乱帧都有可能破坏了 它们的时序关系。这就要求数据的格式应该有较好的容错能力，当出现丢帧、乱帧的情况能 够很方便的判断，并且加以处理，不至于引起崩溃性的后果。 随着 Modern 、ISDN、PDA 等等的出现，上网方式呈现出多样化。但是技术的多样性和 应用的普遍性带来了一系列新的问题，其中之一就是单一的信息源和相异的应用之间的矛盾 2 。应用的差异性表现于网络性能、终端设备和用户对信息的选择等三个方面。首先，数据 传输网络的性能存在异构性，不同用户接入 Internet 方式不同，而且网络中各中间节点的处 理能力和负载可能会随时间而动态变化。其次，网络终端设备多种多样，它们的性能和应用 范围也各有千秋。此外，用户的职业、爱好、个性的差异使得他们对信息的选择也各不相同。 而另一方面，现有的大部分网络信息资源却忽视了这些差异性，“一视同仁”地只提供“静 态”的数据，而不是根据存在的异构性“动态”调整信息质量。使得高性能的终端不能获得 更好的视频质量，而手机用户只能对网上的大量资源“望网兴叹”。这就要求我们考虑在网 络传输时，对于不同的网络带宽、用户要求和终端处理能力，传输的数据质量做到有所不同， 要在现有条件下提供最佳的服务质量。而作为一个基础，数据格式本身就要提供相应的灵活 性。比如，用户希望中途变换视频压缩算法，以便更好的适应网络环境时，格式可以方便地 改变，而不影响文件的完整性和播放性能。 2．相关研究 由于在这种多媒体复合文档中，音频/视频数据在内容上占据较大比例，在处理上也相 对复杂一些，所以，我们要以音频/视频为主线，在其功能完善的基础上再考虑添加其他格 式的数据。 我们对目前已有的媒体数据格式做了一些研究，一方面可以看到这些格式比较成熟的地 方，从中得到启发，另一方面也可以发现现在格式的不足之处，从而进行弥补，最终得到一 个满足网络多媒体复合文档传输的要求的格式。 2.1 AVI AVI 是一个成熟的视频格式，它是标准的 RIFF 结构，采用流的形式控制文件，采用帧 做数据单元，接口很完善，通用性也很好，但在网络传输上有明显的不足之处： 第一：AVI 格式主要是针对视频和音频的数据而制定的，没有考虑文本、图形、超文本 网页等等不同的格式。 第二：AVI 格式播放的帧率是固定的，一旦丢帧、乱序，就会同步出错，从