教学视频标注算法研究-电子与通信工程专业论文.docxVIP

TN82学校代码 TN82 分 类 号  10701 TP39 学 号 1202121391 密 级 公开 西安电子科技大学 硕士学位论文 教学视频标注算法研究 作者姓名： 王敏 领 域： 电子与通信工程 学位类别： 工程硕士 学校导师姓名、职称： 高新波教授 企业导师姓名、职称： 颜建强高工 提交日期： 2014 年 11 月 A Study of Lecture Video Annotation Algorithm A thesis submitted to XIDIAN UNIVERSITY in partial fulfillment of the requirements for the degree of Master of Engineering in Electronics and Communication Engineering By Wang Min Supervisor: Gao Xinbo，Yan Jianqiang November 2014 西安电子科技大学 学位论文独创性（或创新性）声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示了谢意。 学位论文若有不实之处，本人承担一切法律责任。 本人签名： 日 期： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属于西安电子科技大学。学校有权 保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分 内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，获得学位 后结合学位论文研究成果撰写的文章，署名单位为西安电子科技大学。 保密的学位论文在 年解密后适用本授权书。 本人签名： 导师签名： 日 期： 日 期： 摘要 摘要 西安电 西安电子科技大学硕士学位论文 摘要 随着互联网技术和多媒体计算的高速发展，基于在线学习平台的在线学习（或 E-learning）方式逐渐成为一种可以有效补充传统课堂学习的重要学习方式。目前 网络上出现了海量的以课堂教学、学术性质讲座、学术技术报告等教学活动为内容 的教学视频，视频内容信息的多样性和丰富性使得这些教学视频成为在线学习的 重要素材。教学视频的标注，是通过分析教学视频内容的低层特征，建立一种低层 视觉特征与高层语义间的映射以此跨越语义鸿沟，给教学视频赋以标签。这些标签 信息可以基本表示视频的关键内容，标注后的教学视频更加方便快捷地进行索引 检索、分类推荐等视频后续工作，同时也方便了用户更好地交流互动，增加了学习 的多样性和高效性。 本文主要是针对基于在线学习平台的教学视频进行标注研究。标注的流程是 首先对输入的教学视频进行结构化处理，提取视频的关键帧中字幕信息，经过文本 预处理后得到有效字幕文档，再使用字幕文本信息进行语义镜头分割，最后结合机 器学习的方法实现对视频的标注。 首先，本文提出了一种基于字幕文本信息结合 LDA（Latent Dirichlet Allocation， 隐含狄利克雷分配）的镜头分割方法，实现教学视频的语义分割。先使用 OCR （Optical Character Recognition，光标字符识别）提取关键帧中的字幕（若没有字 幕，则使用 ASR（Automatic Speech Recognition，自动语音识别）获取文本信息） 信息，再使用 LDA 对关键帧进行学习，通过比较关键帧之间的距离，实现镜头的 语义分割。实验结果表明，此方法因使用了字幕文本信息有效解决了教学视频场景 均匀引起的分割问题，同时也具有较好的分割效果。 其次，基于 S4VM（Safe Semi-Supervised Support Vector Machine，安全的半监 督支持向量机）算法，提出了一个结合字幕文档的教学视频标注方法。该方法以镜 头为样本，利用少量标注内容的镜头字幕文本信息，在 S4VM 算法的训练学习下， 完成对视频在镜头层次上的标注，得到同一个视频多个镜头的关键词，也就可以实 现视频层次上的标注。实验结果表明，该算法能够较好地完成对视频的标注，也具 有较高的准确率。 最后，基于协同过滤思想，提出了一个基于用户的协同过滤教学视频标注方法。 该方法以镜头为样本，首先计算镜头对应字幕文本中单词的词频逆文档值，选取较 为重要的单词建