一种3D图像和视频质量评价算法介绍-讨论班PPT.pptxVIP

ALGORITHMIC ASSESSMENT OF 3D QUALITY OF EXPERIENCE FOR IMAGES AND VIDEOS董全武2011年5月26日目录背景- 3D 影视质量评价测试环境3D QoE 质量评价算法性能评估背景- 3D 影视质量评价电视发展的趋势黑白 - 彩色 - 高清今后是什么？3D电视产业链日趋成熟3D电视走入家庭QoE非常重要！3D QoE 评价研究情况传统的视频质量评价分为FR, RR,NR因为没有相应的3D的参考视频，我们能够获得的仅仅是左右两个view，因此只能通过它们来预测QoE，所以3D QoE天然就是NR的文章背景Title: ALGORITHMIC ASSESSMENT OF 3D QUALITY OF EXPERIENCE FOR IMAGES AND VIDEOS事件IEEE Digital Signal Processing Workshop Sedona, Arizona时间：January 04-07, 2011作者来自：The University of Texas at Austin, LIVEAnish Mittal、Anush K. MoorthyJoydeep Ghosh、Alan Conrad Bovik测试数据集常见视频测试库VQEG FR-TV Phase 1 Test SequencesLIVE：University of TexasEPFL: SwitherlandMiddlebury ：Middlebury college，USTID 2008 EPFL 图像/视频采集设备EPFL Datasets3D图像库图像大小：1920X10809个场景，每个有6种深度1个用于训练主观受试者EPFL Datasets?3D视频库图像大小：1920X10806个场景，每个有5种深度每个场景时长10秒，25fps主观评测观看距离：2米打分：5分制测试人数图像库：17人视频库：20人3D QoE 质量评价算法主要思路统计特征提取特征选择Disparity MapLeft viewSpatial activityRight viewMagnitude of motion计算视差图（disparity map)计算空间活动特征The NTIA General ModelNTIA ：The National Telecommunications and Information AdministrationVQEG：Phase II Full Reference Television (FR-TV)测试性能很好计算运动特征运动特征提取算法介绍block-matching algorithm,BMA通过一种快速的宏块匹配的运动估计算法获取每个宏块的运动估计每个宏块的运动估计与前一帧求差值在帧内对所有宏块求平均值提取统计属性（1）D即视差图（disparity map)平均值中位值标准差峰度值偏度值插1：解释“峰度”和“偏度”峰度（Kurtosis）衡量实数随机变量概率分布的峰态。峰度高就意味着方差增大是由低频度的大于或小于平均值的极端差值引起的偏度（Skewness）衡量实数随机变量概率分布的不对称性。例如，偏度为负（负偏态）就意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值（包括中位数在内）位于平均值的右侧。提取统计属性（2）视差图的微分值的统计特性使用Laplacian 算子对视差图进行计算用于捕获深度信息的变化平均值标准值峰度值偏度值插2：为什么计算视差图的微分值原始图像人眼在关注点区域附近的亮度对比度和梯度（gradient）高于其他区域解释：HVS是为了使获得的信息最大化视差图人眼在关注点区域附近的对比度和梯度（gradient）低于其他区域解释：HVS是为了简化对立体视觉的计算度Pooling 策略图像（15个维度）5 disparity4 disparity gradient6 spatial activity（左右图像分别计算）视频（25个维度）除以上15个维度，增加：10 motion compensated disparity difference （左右图像分别计算）Pooling策略：一个视频内部所有帧求平均特征选择因为维度太多，要考虑缩减两种多元统计分析方法PCA：principal component analysisFFS：forward feature selectionPCA介绍将多个变量通过线性变换以选出较少个数重要变量主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（