网站内容拨测系统实现技术分析摘要.pdfVIP

T技术广角……………………．．一 1 Panorama echno●0口y 网站内容拨测系统实现技术分析 苏娜工业和信息化部通信计量中心工程师 谢谦工业和信息化部通信计量中心助理工程师 刘岩工业和信息化部通信计量中心工程师 薛涛工业和信息化部通信计量中心工程师 为净化社会环境、保护下一代健康成长、推动互联网 摘要：网站内容拨测系统通过采集网页内容，分 络产业健康发展，政府监管部门和互联网站接人服务单位 析网页内的网址、文本、图片、音视频等内容，及 时发现网站／网页中存在的不良内容，同时通过对 有责任和义务通过强化技术手段，建立网站涉黄内容的发 网站标题关键字匹配、网站备案信息比对和网站 现处置机制，为净化网络环境做好基础工作，为社会进步 协议类型分析等方法对网站进行分类。拔测系统 对采集的网页内容和用户访问行为的分析，可为 和经济发展做好服务。网站内容拨测系统可通过模拟用 互联网行业发展趋势分析和预测提供数据支撑， 户访问网络的行为，采集网站内容，是对网站内容进行监 为企业的精细化运营提供强有力的技术手段。 测的基本技术手段。 关键字：爬虫，软探针，旁路，网关过滤，网站分类 Abstract：ThemethodofDetectiveand primary 网站内容拨测系统框架 forthecontentsofwebsitesis AnalyticalSyrstems tocheck andmultimedia used URL text。picture informationto the or discoveryillegalunhealthy 网站内容拨测系统通过采集网页内容，分析网页内的 content thewebsite promptly，meanwhilelabeling 网址、文本、图片、音视频等内容，及时发现存在不良内容的 websites’tide contentsbetween througIlmatching and informationand 网站／网页，并将拨测结果提交相应管理部门。网站内容拨 keyword，checkingregister collected network finaldata analyzingprotoc01．rnle 测系统的建设主要可以分为数据采集和数据分析处理两大 be and this alsocan usedfor by system analyzed 部分。数据采集模块依据拨测策略从网站上采集相关内容 the ofthewebservicesand development predicting of the forthe related providingguidance operation 信息对发现的涉黄信息根据告警机制对用户进行告警提示 enterprises 或屏蔽，应支持H1邪和WAP协议。数据分析处理系统可 Words：web