互联网视听节目监管系统建设思索.pdfVIP

互联网视听节目监管系统建设的思索 目簏箍 日羰‰ 终端终骊 铃’而终端 铃’ffii终端 铃’丽终端 服务器 服务器 图1某个视音频节目监管系统结构图 2．1研发适应互联网音视频节目监管工作的搜索引擎 目前的互联网音视频节目监控系统中的搜索引擎主要由爬虫系统、分析系统、索引系统、查询系统组 成，功能主要是对互联网上视听节目信息进行发现、解析、存储、索引、查询，甚至直接下载，最后用户 根据搜索引擎的搜索结果，在系统中方便的对互联网上的视音频节目进行监控。为了适应互联网音视频节 目的飞速发展，互联网音视频节目监控系统的搜索引擎应根据网络音视频网站的发展规律，并能适应统一 监管工作需要。具体来说应该具有如下几个特点。 (1)能够快速抓取大量音视频网站信息的爬虫系统。 互联网视听节目监管系统中爬虫的作用是为搜索引擎抓取大量的数据，其抓取的对象为互联网上的传 播视听节目的网页。爬虫程序的抓取方法都是顺着网页的链接关系进行爬行的。 由于现在视听网站的内容不断的在变化，因此爬虫也需不断的更新其抓取网页的内容，这就需要网络 爬虫按照一定的周期去扫描网站，查看哪些页面是需要更新的页面，哪些页面是新增页面，哪些页面是已 经过期的死链接。一般来说，在系统中网络爬虫在更新视听网站内容的得到的属性和上次抓取的属性相比 较，如果一样则不用更新。 近年来，爬虫获取信息的途径和效率以及智能语音图像分析技术比之前大为进步。互联网视听节目监 管系统要求系统中的爬虫尽可能多、尽可能快地给索引部分输送音视频网页，为系统的搜索引擎提供强大 的数据支持。 有些违规节目出现在各种论坛中，大多是网友自主上传，其中很多会采用回复可见和用户注册登入后 才可见的方式来提高点击率。互联网专家指出，深层网页中可访问信息容量是表层网页的几百倍，是互联 网上最大，发展最快的新型信息资源。因此对深层网页的搜索是一个非常重要的环节，在爬虫技术上有专 Web爬虫体系，爬行中会有一个独特的表单填写过程来模拟用户完成注册或是其他涉及表单的 门的Deep 动作。但是，网站的登入方式也在改进，最常见的是利用验证码的方式来防范恶意注册登入。我们在设计 监管系统的时候，要求系统能将这一类网站自动识别归类，提供给工作人员，由人工协助完成登入过程。 368 2012．4．2012中国数字广播电视与网络发展年会