多媒体信息处理技术 1.ppt

* 方法2：Point-to-point with back-channel 应用前提：Point-to-point communication with a back-channel 例如： video phone, video conferencing Decoder 检测到错误后通知编码器: 重新初始预测 (使用 I-frame) 特点：简单、直接 代价： intra coding需要更高 bit rate 选择一个合适的帧作为下次预测的参考 Encoder decoder store multiple previously coded frames Encoder chooses which previously coded frame to use as reference for prediction (only use correctly received frames) Two basic modes of operations: ACK, NACK * ACK mode 特点：Encoder 只使用ack确认的帧作为预测参考帧 优点：可以最小化差错扩散； 缺点：可能会使用一些 “old” frames →导致不好的压缩性能； * 小结：Point-to-point with back-channel 优点： 利用反馈特性可以达到很好的容错效果 [NewPred in MPEG-4, Reference Picture Selection in H.263] 缺点：需要有可靠的反馈信道，同时要求有更小的RTD (round trip delay ) 随着RTD时间的增加，效果会降低； 对于广播、组播、没有反向信道的点对点业务不适用； * 5.其他容错编码技术 Scalable video coding: 视频编码分成： （a base layer）+ （one or more enhancement layers） Examples: Temporal, spatial, SNR (quality) scalability –视频数据具有了优先级别； –不同的优先级有利于实现可靠的视频传输；例如： unequal error protection prioritized retransmission Scalable coding对于支持差异服务的网络具有很好的适应； * 伸缩编码用于容错的问题 目前的互联网是 best-effort: 不支持 QoS 所有的包具有相同的丢失概率； 另外，base layer的重要性也限制了应用的推广 如果基本层出现错误，整个视频都可能出现问题； 伸缩编码和 best-effort Internet的不匹配之处: 伸缩编码产生的多层比特流具有不同的重要性； Best-effort Internet 对这些比特流相同应对； * 6. 多描述视频编码 多描述视频编码：Multiple description (MD) video coding –Code video into a number of descriptions, each of roughly equal importance MD编码的属性: –Receiving either bitstream leads to good quality video –Receiving both bitstreams leads to highest quality video * 传统的单描述编码和多描述编码比较 当多个错误出现时，MD属性还是不够； 只要不同描述不是同时出错，状态可以根据不同的描述进行恢复； * MD编码的错误恢复 特点：提高对错误的恢复能力 –其他方法只能利用前帧； –MD使用的方法可以利用前后帧； →双向更新有助于提供恢复的质量； 错误恢复方法的本质：类似 MC-interpolation –Phase-correlation motion estimation –Dense motion field –Identify occlusions (covered uncovered pixels) –Estimate lost frame as appropriate MC-combination of surrounding frames * MD Video and Path Diversity 应用特征： Multiple description video coding 传输路径具有多样性的传输系统； 可以利用MD编码特性进行恢复； * 7. 差错控制技术的应用 差错控制技术是多媒体通信的中的重要技术 错误必然会有 使用的方法与传统方法不尽相同； 无线多媒体应用中差错控制技术非常