基于增强隐马尔可夫模型的视频数据挖掘的探究.pdfVIP

798 计算机技术与应用进展·2004 基于增强隐马尔可夫模型的视频数据挖掘研究+ 费玉莲凌云王勋 杭州商学院计算机与信息工程学院，杭卅l310035 摘要利用增强的隐马尔可夫模型，对带有音频的视频数据库进行挖掘．充分利用音频pi见频特征 的互补性，建立视频情频融合的识别模型及其相关算法，并根据模型建立系统。实验证明挖掘的准确 率迭90％}g_L，远远高出传统的挖掘方法。研究结果可以应用在多媒体数据库挖掘A-@。 关键词增强隐马尔可夫模型视频／音频特征提取音视互补的数据挖掘 1引 言 随着各种数据采集设备的普及应用，各种视频数据也越来越多。而随着计算机网络技术的发展，这种 基于视频的多媒体数据交流活动也日益频繁，使得每个数据中心都拥有非常庞大的视频数据资源。如何才 能够迅速、准确的找到用户需要的视频资料，成为数据挖掘技术领域一个热点问题。由于视频数据的内容 特性(时间空间特性和视听特性等)与一般的数据特性在许多方面不同，因此一些常规的数据挖掘方法不 能直接采用，需要研究适合于多媒体数据的新的挖掘方法和技术。文献【1】中介绍了多媒体数据挖掘的基本 设想，这些研究对多媒体数据挖掘的方法和技术进行了初步的探讨。上述研究只是在体系结构方面进行了 探索，面对于具体实现时采用何种挖掘模型，则涉及很少。文献【31给出了一个基于隐马尔可夫模型的复杂 数据挖掘方法。其要解决的主要问题就是首先对音频和视频进行识别，并在此基础上建立了一套比较完整 的复杂数据挖掘模型和算法。但该方法只能分别对音频或者视频进行挖掘，而在实际应用中，视频往往伴 随音频数据而不是仅仅拥有视觉信息，仅仅基于计算机视觉技术对此类数据进行挖掘就丢掉了音频数据中 的特征。因此，有必要提出一种新的方法，能够充分利用视觉和音频两个特征来对视频数据进行挖掘。 2增强隐马尔可夫模型(EHMM) 2．1传统的隐马尔可夫模型(HMM) 相联系，是一个双重随机过程，其中一个是马尔可夫链，它描述了状态之间的转移；另一个随机过程描述 了状态和观察值之间的统计对应关系。HMM中的状态是隐含的，我们只可以观察到各个状态产生的动态的 ’基金项目：本文获得浙江省自然科学基金项目(No．M063149)的资助。 教授，主要从事电子商务、数据挖掘和智能决策支持研究；王勋(1967·)，男(汉族)。博士生。副教授，主要从事人工智能、 电子商务和数字图像处理研究。 基于增强隐马尔可夫模型的视频数据挖掘研究 7∞ 率。如图1是传统前向隐马尔可夫模型的拓扑结构。 o 图1前向隐马尔可夫模型的拓扑结构 从对隐马尔可夫模型的定义可以看出，隐马尔可夫模型特别适用于对时空域信号(音频、视频等)的 处理。 2．2 用于音频，视觉混合数据处理的增强隐马尔可夫(E删) 音频和视频在时域上和频域上都有截然不同的特征，对于一段既有音频又有视觉信息的时空域数据， 传统的隐马尔可夫模型无法同时处理两个输入，因此必须对其进行扩展，使其能够同时处理音频和视频输 入，并且综合两个输入的特征，从而达到更好的识别效果。为此，引入一个增强的隐马尔可夫模型(EHMM)。 假设对于一个输入观察值序列o，它由k个输入流Ok(有可能有不同的帧率)组成。对应于D，增强的隐 马尔可夫模型由．，个子模型膨组成。它允许独立的处理每一个输入流，每个子模型蟛由多个并行的隐马尔 可夫模型状态列蟛(可能有不同的拓扑结构)组成。将这些隐马尔可夫模型各自的结果在同步点结合起来。 如图2所示。 表示重新结合点 图2多输入流隐马尔可夫模型拓扑结构的子层结构 在这个模型中，可以注意到以下几点。 (1)并行的HMIvl同每一个输入流相关联，它们不一定拥有相同的拓扑结构； 评价结合累加起来。 基于以上多输入流隐马尔可夫模型，建立一个音频舰频混合识别模型。首先定义两个