基于嵌入式的全景视频拼接与传输技术研究.pdfVIP

摘要

随着虚拟现实技术的进步，越来越多的远程控制任务与虚拟现实技术相结合。在基

于虚拟现实的远程控制任务中，传统视频被全景视频所取代。然而全景视频的引入会导

致计算资源紧张，画面质量的不连贯以及传输带宽的增加造成较大的传输延迟。以上问

题会严重影响操控人员的操控体验。

为了在资源有限的条件下，同时保证全景视频质量、帧率以及传输延迟，本文以嵌

入式平台为基础将远程全景画面显示过程分为了全景视频拼接以及全景视频传输两个

部分，对两个部分的技术进行了深入的研究。针对拼接部分画面质量问题，本文提出了

一种改进的全景图像拼接算法。该算法在特征匹配时将SURF算法的检测区域限定在画

面的重合区域，并在特征匹配时引入了特征点双层提纯方法，以匹配点间的垂直距离对

误匹配点进行初步剔除，然后采用LMedS算法对特征点进一步提纯。在画面映射阶段，

引入了光束法平差，降低单应性变换的累计误差。实验结果显示本文算法有效地降低了

匹配阶段误匹配率，减轻了累计误差产生的全景画面的重影现象。针对全景画面拼接计

算开销大、视频生成帧率低的问题，本文设计了一种基于LUT和GPU的视频拼接算法。

该算法将全景图像映射信息存入LUT，在视频拼接时，直接将相机画面和LUT传递给

GPU进行运算，节约了计算资源，提高了视频帧率。针对传输部分带宽要求高延迟大的

问题，本文设计了一种基于视点预测的全景视频编码传输方案。该方案仅对视野区域内

的画面进行高质量编码极大降低了全景视频整体码率降低了带宽需求，并采用ICOA-

LSTM算法对视点位置进行预测，以补偿采用视野区域高质量编码时视野信息传输滞后

带来的画面质量降低的问题保证了视频画面观看体验。同时，将视野区域更新为圆形区

域，增强了该方案的鲁棒性。

为验证本文研究整体效果，本文构建了全景视频传输系统，并以该系统作为实验平

台对研究内容进行测试，结果显示在嵌入式平台下能够生成每秒30帧的全景视频且画

面连贯清晰，视野变化过程中视野区域显示画面质量波动较小，全景视频传输延迟在730

毫秒左右，保证了引入全景视频后远程控制任务中视频画面的质量和传输延迟。

关键词全景视频查找表视点预测视频编码远程控制

Abstract

Asvirtualrealitytechnologyadvances,moreandmoreremotecontroltasksarebeing

integratedwithit.Inthesetasks,traditionalvideoisbeingreplacedbypanoramicvideo.

However,theintroductionofpanoramicvideocanleadtostrainedcomputationalresources,

inconsistentvideoquality,andincreasedtransmissionbandwidth,resultinginsignificant

transmissiondelays.Theseissuescanseriouslyaffecttheexperienceoftheoperators.

Toensurethequality,framerate,andtransmissiondelayofpanoramicvideounderlimited

resources,thisstudyusesanembeddedplatformasabasisanddividestheprocessofdisplaying

remotepanoramicimagesintotwoparts:panoramicvideostitchingandpanoramicvideo

transmission.Forthestitchingpart,thisstudyproposesanimprovedpanoramicimagestitching

algo