数字音视频处理 课件 第9章 数字音视频技术的交叉应用.pptx

第9章数字音视频技术的

交叉应用;

9.1数字图像视频处理技术在空间物理中的应用;

空间物理研究需要借助极光成像设备和雷达观测设备获得极光数据，极光数据从极区台站传输至中国极地研究中心，并进行后续的雷达信号处理、极光图像和视频数据分析、建模和预测等工作。这些数据传输和处理过程都需要图像、视频压缩编码等电子信息技术支撑，比如极光图像和视频分析前需要完成图像的降噪、增强、目标分割。因此，将音视频处理技术与空间物理学融合并交叉发展很有必要，且将更好地促进空间物理学发展。;

9.1.2极光图像分类

极光是太阳风通过日侧极隙区注入地球磁层时沉降粒子沿磁力线与地球高层大气相互作用而产生的绚丽光辉。极光是极区空间天气物理过程的观测窗口，直接反映了太阳风与地磁层的耦合过程，蕴含着大量日地空间的电磁活动信息，有着深刻的研究意义。目前，中国极地研究中心已经对极光观测图像进行了初步分析，从形态上将其大致分为弧状和冕状两类，而冕状又可细分为辐射型冕状、热点型冕状和帷幔型冕状，如图9-1所示。;

;

1.基于分层小波模型的极光图像分类算法

基于分层小波模型的极光图像分类系统流程如图9-2所示，主要包括预处理、特征提取、特征降维和分类器训练4个部分。

(1)预处理。由于原始图片中镜头边缘处有灯光等干扰，所以需要对其进行一定的剪裁和掩膜操作，以达到位置校准、光线归一化的目的。

(2)特征提取。将预处理后的图像按分层小波模型提取全局和局部特征，进行归一化处理后，构成极光图像的特征向量。

;

(3)特征降维。由于特征向量的高维数会导致计算时间的消耗，特征向量之间的相关性也会造成特征冗余，影响特征的区分性，因此，这里采用主成分分析(PCA)对特征进行降维。

(4)分类器训练。对降维后的特征向量采用支持向量机(SVM)训练分类器，并将其用于测试图像的分类。;

;

特征提取主要采用二维小波离散变换对预处理的极光图像进行处理。二维小波分解示意图如图9-3所示，首先对图像按行进行一维小波变换，生成大小相同的低频子图像和高频子图像，然后按列进行一维小波变换，将每个子图像又分解为低频部分和高频部分。;

;

图9-4所示为极光图像进行两层小波分解后的伪彩图结果，从中可以看出，小波分解将极光图像的高频纹理部分和低频平滑部分分解，各个分解图的特征可以很好地表示不同极光图像的纹理分布，从而用于最终的极光图像分类决策。;

;

2.融合显著信息的LDA极光图像分类算法

融合显著信息的潜在狄利克雷分配(ScaleInvariantLinearDiscriminant，SI-LDA)极光图像分类算法流程如图9-5所示，主要分为5个步骤：极光图像的顶帽变换、极光图像的视觉单词提取、极光图像的谱残差显著图获取、谱残差显著图的视觉单词提取、极光图像的SI-LDA表示。;

;

1)极光图像的顶帽变换

在极光图像拍摄过程中，由于拍摄设备的暗电流以及大气层的影响，极光图像存在亮度不均匀的现象，我们可以通过顶帽变换来改善这一现象，图9-6为顶帽变换后图像与原极光图像对比图。顶帽变换的定义为

其中I表示原极光图像，Itophat表示顶帽变换后图像，I°e表示原极光图像的开运算。;

;

;

3)极光图像的谱残差显著图获取

谱残差是专门针对灰度图像提取显著图的方法，其算法流程十分简洁，步骤如下：;

图9-7所示为极光图像的谱残差显著图实例。;

4)谱残差显著图的视觉单词提取与步骤2)相同。

5)极光图像的SI-LAD表示

对极光图像IN的语义加强型文档CN进行一定次数的Gibbs采样迭代，就可以得到极光图像的SI-LDA表示。其步骤如下：

(1)对于文档中的单词wi，随机设定其所属主题zi，令{zi={1，2，…，T}}，i=1，2，…，K。其中，T为主题个数；K为单词总数，即字典大小。该状态为Markov链的初始状态。

(2)从1循环到K，根据公式将词汇分配给某个主题，获取Markov链的下一个状态。

;

(3)第(2)步迭代足够次数以后，认为Markov链接近目标分布，就取zi(i从1循环到K)的当前值作为样本记录下来。

(4)统计每篇文档中单词分配到各个主题的次数，即完成SI-LAD表示。

;

9.1.3极光视频分类

极光是一种非刚体运动，其图像包含丰富的细节及随机性很强的形状变化，极光序列中蕴含着丰富的时间相关信息，提取其动态特征对实现极光序列识别很重要。典型极光序列如图9-8所示。;

;

1.基于张量动态纹理模型的极光视频分类

基于极光视频动态纹理建模的极光视频事件识别步骤：首先对四类极光视频进行普适性动态纹理建模，然后利用矩阵奇异值分