帧内微块复制的屏幕图像编码算法.docVIP

帧内微块复制的屏幕图像编码算法 　　摘要：针对现有的帧内块复制（IBC）算法不能很好地适应屏幕图像具有各种不同大小和形状样图的问题，为了进一步提高屏幕图像的编码效率，提出了一种帧内微块复制（IMBC）算法。该算法首先将当前编码单元（CU）划分成L个微块。然后以每个微块作为最小的匹配和复制单元，采用匹配微块组选择算法，在参考像素集合R中找到与当前微块最匹配的“参考微块”。用L个位移矢量（DV）来表示“参考微块”所在位置与当前CU所在位置的位移关系。最后，对L个位移矢量应用预测算法以消除位移矢量之间的相关性后进行熵编码。对于屏幕图像标准测试数据集合中的视频序列，IMBC算法与IBC算法相比，在编码复杂度增加较低的前提下，在全帧内（AI）、随机接入（RA）、低延迟（LB）三种编码配置中，有损BDrate降低率分别达3.4%、2.9%、2.6%，无损Bitrate降低率分别达9.5%、5.2%、5.1%，能有效提高屏幕图像的编码效率。 　　关键词： 　　高效视频编码；屏幕图像编码；帧内块复制；微块划分；位移矢量 　　中图分类号： TN919.81； TP391.413 文献标志码：A 　　0引言 　　随着云计算和云―移动计算的发展，屏幕图像编码[1-3]（Screen Content Coding，SCC）已经成为当前新兴主流的云片计算、虚拟屏幕、远程桌面、虚拟桌面（Virtual Desktop Infrastructure， VDI）、iPad/iPhone的无线屏幕映像技术、智能手机和平板电脑的第二显示、数据采集与监视控制系统、超瘦型客户端和远程感知等应用中解决客户端与服务器端数据传输瓶颈问题的关键技术，因此，SCC作为一个新的研究课题受到了学术界和工业界的广泛关注。正在联合制定最新国际视频编码标准高效视频编码（High Efficiency Video Coding，HEVC）的三大组织国际电信联盟（International Telecommunication Union，ITU）、国际标准化组织（International Organization for Standardization，ISO）和国际电工委员会（International Electro technical Commission，IEC）于2014年1月联合正式启动HEVC第五版即SCC版的标准制定工作并发布了标准提案征集公告[4]。 　　SCC技术中一个挑战性的问题是SCC的编码效率问题，即如何在取得超高清的近似无损图像重构质量的同时取得高达300∶1～3000∶1倍压缩比。屏幕图像作为一类包含自然图像在内的更普遍的视频图像，表现出与传统视频不同的特点。屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的具有不同大小与形状的像素图样。而传统的图像和视频压缩技术中采用的帧内或帧间预测算法主要适用于由相机或摄像机拍摄的自然图像，对屏幕图像的编码效率较低。 　　现有的屏幕图像编码算法主要包括帧内块复制（Intra Block Copy， IBC）算法[5-7]、Palette算法[8]、帧内串复制（Intra String Copy，ISC）算法[9-10]。这些算法的共同点是从预定的参考像素集R范围内，通过一个相同“复制”操作，将参考像素集内的若干像素“粘贴”到当前待编码的若干像素的位置。而这些算法的不同点主要表现在复制的最小单元与复制的大小与形状不同。帧内块复制算法的最小复制单元是以块为单位，与HEVC的编码单元（Coding Unit， CU）具有很好的兼容性。Palette算法和帧内串复制算法的最小复制单元是一个像素（也可以是像素对应的索引），可以具有各种各样形状与大小的复制串。Palette算法和ISC算法能进一步提升编码效率；但编码复杂度（用JCTVC规定使用的编码器运行时间来衡量）成倍增加[11-13]。 　　IBC算法在一定程度上是将传统的帧间预测扩展到当前帧，已经被HEVC SCC版本采纳。对于屏幕图像中重复出现的固定大小与形状的图样编码效率比较高。然而，这些编码单元都是采用有限种固定大小的块匹配模式，对于任意形状与大小的匹配图样缺乏灵活性。文献[6]提出了非方块匹配模式，在编码时间复杂度增加约14%左右，能有效提高屏幕图像的编码效率。与Palette算法和ISC算法相比，IBC算法与HEVC具有更好的兼容性，不需要额外增加较多的语法元素等优势。 　　本文在IBC算法的基础上，提出了帧内微块复制（Intra MiniBlock Copy，IMBC）算法，并给出了IMBC的实现特例一个CU划分为16个微块的算法（16个微块需要用16个位移矢量（Displacement Vector， DV）来表示，因