搜索引擎技术在互联网音视频讲目监测系统中应用.pdfVIP

New Media Technology 新媒体技术 搜索引擎技术在互联网音视频节目 监测系统中的应用 ◎ 何志文 郭利刚 浙江省广播电视监测中心 被搜索出来后，必须要将所有的网页呈现在系统用户的 面前，这也是在系统中应用搜索引擎的最终目的。互联网 摘要:本文主要介绍了搜索引擎技术在互联网音视频 音视频节目监测系统可以说是一个用户接口，用户通过 节目监测系统中的应用，深入阐述了系统搜索引擎的 这个接口能看到搜索引擎所搜索到的所有的视音频节目 基本原理和组成，指出了搜索引擎在系统中的重要作 信息。 用。 从上面的介绍中可以了解到，搜索引擎在互联网音视 关键词:搜索引擎 网络爬虫 查重 索引 频节目监测系统中有举足轻重的作用，它是监测系统的 门户，为系统提供第一手的数据资料。搜索引擎的各个方 面贯穿于系统的各重要部分中。互联网音视频节目监测 1引言 系统就是专门用于搜索视音频节目的搜索引擎，不过所 搜索引擎经过几年的发展和摸索，越来越贴近人们的 不同的是这个搜索引擎搜索出所需要的视听节目网页后， 需求，不断地应用于人们生活的各个领域。在互联网音视 并在监测系统中对这些节目进行监视，并对违法乱纪、危 频节目监测系统中，搜索引擎扮演了重要的角色，它可以 害青少年的视听节目进行封堵，以达到净化网络的目的。 在浩瀚的网络中搜索出视听节目的站点。互联网音视频 3系统搜索引擎的基本原理 节目监测系统中的搜索引擎主要是对互联网上视听节目 信息进行发现、解析、存储、索引、查询，甚至直接下载， 互联网音视频节目监测系统中所运用到的搜索引擎的 最后用户根据搜索引擎的搜索结果，在系统中方便的对 原理，可以分为三步：即从互联网上抓取视音频节目网页 互联网上的视音频节目进行监控。 →将节目信息存入数据库并建立索引→在节目索引数据 库中搜索信息，并按特定方式展现出来。 2 搜索引擎在互联网音视频节目监测系统中的 该搜索引擎是由搜索器、索引器、检索器和用户接口 重要作用 等四个部分组成，其主要运行如图1所示。 搜索引擎在互联网音视频节目监测系统中主要作用可 系统通过搜索器在互联网上抓取视音频节目网页，然 以从以下两点进行论述。 后通过索引器的运行建立节目的索引数据库，最后用户 (1)搜索视音频网页：在互联网监测音视频节目监测 通过接口能够使用检索器在节目索引数据库中搜索到符 系统中，搜索引擎的作用就是在网络上搜寻视音频网页， 合自己要求的信息并进行展现。 网络上的数据是不断更新的，种类也各种各样，因此对搜 索引擎的要求就大大的提高了。搜索引擎首先