面向Web视频的网络爬虫的研究与实现-计算机应用技术专业毕业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研 究工作及取得的研究成果。据我所知，除了文中特别加以标注 和致谢的地方外，论文中不包含其他人已经发表或撰写过的研 究成果，也不包含为获得电子科技大学或其它教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学 位论文的规定，有权保留并向国家有关部门或机构送交论文的 复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大 学 可 以 将 学 位 论 文 的 全 部 或 部 分 内 容 编 入 有 关 数 据 库 进 行 检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 电子科技大学学位论文使用授权声明 本人 学号 在导师的指导下创作完成毕 业论文。本人已通过论文的答辩，并被电子科技大学授予博士／硕士/ 学士学位。本学位论文作者完全了解“电子科技大学关于保存、使用 学位论文的管理办法”，即： 本人按照学校要求提交学位论文的印刷本和电子版本； 学校按规定保存提交学位论文的印刷版和电子版，并提供 目录检索与阅览服务； 学校可以采用影印、缩印或其他复制手段保存学位论文； 学校可以按著作权法及知识产权法的有关规定公布学位论 文的全部或部分内容。 作者签名： 导师签名： 日 期： 年 月 日 万方数据 万方数据 万方数据 万方数据 摘要 摘 要 计算机硬件的处理能力的不断增强以及网络带宽逐年的扩容，使人们在网络 上在线收看视频甚至是高清视频成为现实。网络视频开始逐渐取代了传统电视的 地位，成为人们观看视频的第一选择。因此，人们需要一种工具来达到对网络视 频进行快速检索的目的。目前我们常用的搜索引擎大多数都是通过关键字来进行 检索，但是对于具有丰富信息的视频数据来说，用户很难用精确的语言来概括视 频的特征，使用语言来描述具有一定的主观性，通过这种方式往往会搜出大量无 用的信息，效率十分低下。因此，我们需要一种更直观的方式来对网络视频进行 检索。基于内容的 web 视频搜索引擎正是在这样的需求下产生的。 基于内容的视频检索技术，是通过对视频进行镜头检测，然后提取镜头关键 帧，对特征进行提取后，利用视频特征进行检索的技术。网络爬虫是构建基于内 容的 web 视频搜索引擎的基础，首先需要将网络中成千上万的视频数据通过爬虫 收集起来，搜索引擎才能进一步对视频的内容进行分析处理，建立索引。 本文以实现基于内容的视频搜索引擎为目的，深入研究了 Heritrix 爬虫的相 关技术，流式传输技术及网络数据包的捕获技术。由于现在很多视频网站隐藏了 视频的真实地址，通过查看地址栏的地址或解析 HTML 文本都无法得到视频的真实 地址。因此，本文提出了通过分析视频服务器与本地网卡的网络交换数据包来获 取视频下载地址的方法，在 Heritrix 爬虫的基础上实现了通过网络爬虫爬取视频 文件的功能，设计出了面向 web 视频的网络爬虫。 本文首先介绍了 web 视频搜索引擎系统的总体设计，分别介绍了视频信息获 取模块、视频处理模块、视频分类模块和视频检索模块。通过对网络数据的捕捉 和分析，达到了获取视频真实下载地址的目的。根据视频检索的需要，还实现了 中文分词和视频标准化。针对爬虫爬行单个网站时不能充分发挥爬虫多线程运行 的特点，改进了 URL 的分配策略，提高了爬虫的运行效率。最后对爬虫和整个系 统性能进行了测试。 关键词：web 视频检索，爬虫，视频地址解析 I ABSTRA ABSTRACT ABSTRACT The enhancement of computer hardware process capability and the increased network bandwidth make people watch video on line become reality. Web video has displaced the traditional TV as people’s first choice of watching video. Most of the existing search engines provide keyword-based search, but for the video data with a wealth of information, it’s difficult for users to summarize the character