远程富媒体的呈.pdf

摘要 摘要 在最近的几十年中，计算模型已经从集中式大型机计算模型转变为分布式 的桌面计算模型。但是，随着个人计算机广泛使用并且保有量越来越大时，用 于维护这些计算机的开销变得越来越难以控制。由于存在这样的问题并且变得 越来越难解决时，人们又开始趋向于集中和更易于管理的计算模型。远程访问 计算模型就是这种趋势的一个具体表现。 虽然远程访问计算模型类似于大型机时代的集中计算模型，但是如今的用 户已经不满足于只使用ASCII文本来表示输入与输出。远程访问系统必须有效 地支持富媒体环境来满足客户的需求。达到这样的目的的关键技术就是远程富 媒体呈现技术使得图形显示能够通过网络实时地传输并呈现在客户端并且支持 与用户的可交互功能。 随着处理器计算速度和图形芯片处理速度的快速发展，从早期简单的文本 处理软件到如今绚丽的3D游戏画面和丰富的多媒体应用，富媒体内容越来越 复杂，富媒体应用与人的交互也越来越丰富。丰富的富媒体内容与应用使得其 在计算资源受限或网络带宽受限条件下的实时低延时编码、传输与交互带来了 极大的挑战。而且在目前互联网上的异构网络环境下，远程富媒体呈现也面临 着不同网络所引起的传输带宽差异、传输延时差异和带宽的波动等所带来的问 题。并且，客户端设备也在计算能力、接入带宽和显示分辨率方面存在广泛的 异构性。设备的异构性也给富媒体呈现服务的广泛普及带来了挑战。 本文从富媒体的特点出发，针对远程富媒体呈现系统的性能要求，创新性 地提出了一个高性能的远程富媒体呈现系统，并且提出了若干技术来进一步提 高远程富媒体的呈现性能、减少带宽资源／计算资源损耗、提高系统对异构网络’ 和设备的自适应性和提高用户的交互体验。本文具体的研究内容主要包括： 首先，我们提出了一个完整的端到端的可交互的富媒体呈现系统。该系统 能够支持高性能的远程屏幕呈现以及桌面的远程使用，即使是在具有极大显示 量的多媒体应用中。在该系统中，我们为远程显示提出了一个对压缩友好 (Compressionfriendly)的系统结构。在这个系统结构下，我们提出了一个有 效的屏幕图像编码方案。该编码方案自动地根据图像块的内容使用合适的编码 方法来压缩该块。同时，我们针对不同的终端设备提出了一个自适应的传输机 制来减小网络带宽的消耗量而又不牺牲用户体验；针对不同的网络环境，我们 提出动态地调整发送缓冲区的方法来取得网络吞吐量与数据延时之间的平衡。 我们还提出了一些交互机制和网络传输机制来提高系统的可交互体验。 第二，针对多客户端连接的屏幕共享系统，我们提出了一个有效的屏幕图 I 摘要 像编码方法。对多客户端连接时所需要的多码率码流编码时，我们提出了一个 encoding)。一次化编码算法使得远程主机端编码生 一次化编码算法(one．pass 成多个码率时只需要一次编码过程，使得主机端的编码复杂度极大的降低。特 别是当远程的计算资源受限时，一次化编码算法能够较大地提高屏幕共享系统 的性能。基于我们提出的屏幕图像编解码方案，我们还为基于以数据中，tL,为基 础的大规模桌面网络会议提出了一个快速的屏幕图像转码方案。 第三，我们提出了使用GPU来加速屏幕图像编码的算法，以加快远程主机 端的编码速度。在这个算法中，我们将屏幕图像编码端除熵编码以外的所有计 算模块都转移至GPU中以有效的利用GPU强大的并行计算能力。实验结果表 明，GPU加速能够大幅度地提高远程主机端的编码速度。 第四，针对富媒体中的视频媒体类型，根据视频内容的特点，我们使用视 频转码来达到对视频内容的有效传输并且减少网络带宽的消耗。我们提出了一 个基于功率谱密度的率失真优化(Rate．distortion 速视频转码的过程。在这个模型中，运动补偿的预测误差不是由块内的SAD或 者SSD之和计算出来而是由输入输出运动矢量之差和预测信号的功率谱密度计 算猜测出来。该方法不仅能够应用于时域的视频转码，包括对码率、分辨率、 帧率的转码，而且还适用于在频域上的视频转码。本文中，我们以H．264／AVC 编码标准为例，将所提出的率失真模型用在对P帧的时域转码和对B帧的频域 转码。由于该模型省掉了运动估计中计算量最大的SAD／SSD计算，该率失真优 化模型能够大幅度地加速视频转码的过程。 第五，基于我们所提的远程富媒