Web视频资源的智能发现关键技术研究-计算机科学与技术专业论文.docxVIP

Classified Index： TP393.09 U.D.C： 621.3 Dissertation for the Master Degree of Engineering KEY TECHNOLOGIES OF WEB MEDIA RESOURCES INTELLIGENT DISCOVERY Candidate: RuiXin Li Supervisor: Prof. Yunming Ye Academic Degree Applied for: Master of Engineering Speciality: Computer Science and Technology Affiliation: Shenzhen Graduate School Date of Defence: December,2010 Degree-Conferring-Institution: Harbin Institute of Technology 摘要 摘 要 － －I－ 摘 要 信息技术的迅猛发展，特别是 Web 2.0 普及后用户参与度的大幅度提高， 用户不仅可以在线欣赏视频，还可以成为网络视频资源的提供者，所以 Internet 的视频资源急剧增加，Web 视频资源的搜索与监控成为一个亟待解决的问题。 本文围绕着如何在实际网络环境中快、准、全的搜索出视频资源的需求， 在深入研究爬虫的工作原理的基础上，提出基于动态 Web 视频资源特征库的视 频资源疑似度评估模型，设计在线增量学习算法以动态调整和丰富视频资源特 征知识库。然后经过不断进行优化和改进，从而较大幅度地提升系统的运行效 率，最终达到可实际运用的性能。本文的主要成果可以归纳为以下几个方面： (1) 对实际网络视频资源特征与分布进行深入调研，通过分析已知的Web 视频节目特征，提取其中可以用于评估一个页面视频节目疑似度的特征线索， 并设计这种特征的表示模型，最终形成一个Web视频特征知识基础库。 (2) 在对爬虫技术深入研究的基础上，借鉴了主题爬虫设计思路，结合在 Web上发现视频资源的静态爬行模型，提出了基于在线增量学习的视频资源发 现模型，并进一步设计了具备更高性能的Web视频发现改进模型，并基于该模 型，提出了一种基于增量学习的视频资源发现算法。 (3) 通过对实际性能的考察和调优，针对提出的视频资源发现模型，设计 了大量可以控制的配置参数，并通过调研、实验对比，给出了实际操作中可以 使用的参数范围。 (4) 基于上述的理论研究成果，设计了具体的视频资源发现系统的体系结 构和各个模块的具体流程，形成一个高性能Web视频只能发现系统的详细设计， 并最终实现成为可实际运用的系统。 关键词：Web 视频资源；特征选择；特征知识库；增量学习 哈尔滨工 哈尔滨工业大学工学硕士学位论文 － －II－ Abstract With the rapid development of information technology, especially the extensive use of Web 2.0, the user participation significantly improved. Online users can not only enjoy the web videos but also be a resource provider, which brings about the rapid increase of web videos. The request of search and monitor become an urgent problem. This pager focuses on how to mining the videos resource from the Internet quickly, accurately and comprehensively. In depth study of the working principle of crawler, an evaluation model is proposed. In order to improve the web video resource features library, we design an online incremental learning algorithm. After that, optimization on the whole system is ongoing taken place. Thus the efficiency of the system is effectively enhanced. And it achieves t