一种基于失效概率排序的网站封堵解除方法.docxVIP

一种基于失效概率排序的网站封堵解除 方法 艾华贾晓舟贾素华 中国移动通信集团设计院有限公司 摘要： 本文提出了基于网站失效概率排序的不良网站封堵解除方法，该方法建立了解 封探测优先级的量化评估模型，并充分考虑了对封堵清单查重和归并操作的影 响，解决了不易失效的网站URL拥塞解封探测队列导致死循环的问题。测试结果 表明，该方法能充分利旧现有的封堵有效性验证系统的空闲资源，大幅度提高 探测命中率，显著减少封堵工作量，降低封堵系统建设和长期运营成本。 关键词： 网站封堵;解封;URL; 收稿日期：2017-08-02 A met hod of web si te plugging removal based on ranking of failure probability AI Hua JIA Xiao-zhou JIA Su-hua China Mobile Group Design Institute Co., Ltd.; Abstract： This paper proposes a methods to removal plugging porn website based on the site failure probability remking. The method establish the quantitative evaluation model of detection priority.The impact of checking and merging operations is considered. The method solve dead loop problem caused by detection queue congestion .Test results show tha t the method can make full use of idle resources, greatly improve the hit rate, signif icantly reduce the amount of plugging work, reduce construction and Iongterm operating costs. Keyword： website plugging; removal plugging; URL; Received： 2017-08-02 1引言 电信运营商现有的不良网站封堵系统缺乏对被封堵网站的解封机制，尽管采用 UDP53的DNS阻断方式在一定程度上缓解了系统压力，但基于IP地址访问量的 快速增涨和封堵清单“只进不出”的模式使得封堵系统运行压力和建设成本难 以控制。由于不良网站经常更换网址，封堵清单中大量URL实际已经弃用失效。 对于失效的URL继续进行持续不断封堵操作是对封堵系统资源的严重浪费，也 对网络运行效率产生不必要的影响。 利用现有封堵有效性验证系统的空闲资源，实现对已经失效URL的确认和解封 堵是一种边际成本较低的解决方案。但封堵有效性验证系统耍确认一个URL已经 失效需调集多类探针资源进行有计划的测试，并排除网络延迟、间歇性故障、网 段差异等因素，由于封堵清单数量庞大，现有封堵有效性验证系统的空闲资源 有限，无法实现对全量封堵清单进行轮询式探测。本文设计-?种解封探测优先级 量化评估模型，建立对URL失效概率的排名机制，仅需对失效概率较大的URL 进行探测，实现对封堵有效性验证系统资源的最大化利用。 2模型设计和实验 通过封堵有效性验证系统网络探针对封堵清单中随机抽取的1000个样本网站进 行了超过23个月的持续探测发现，网站有效率与封堵持续时间、域名级别、服 务器地域等不同维度之间都存在着一定的联系，其中与封堵持续时间的关系最 为明显，尤其是占总量98%以上的境外网站，封堵12个月后有效网站比例已经 降至40%以下，封堵20个月以后的有效网站已经低于10% (如图1所示)。 2.1模型设计 定义一个全量封堵数据库屮某URL的服刑期为P (Prison term),其值为距离 解封探测操作的剩余天数，用来评估一个URL的解封探测优先级。对于现有系统 P二8,在“服刑期”模型中，通过D-R参数对P的值进行量化评估，从而产生解 封探测优先级排序。 D参数（Days）:是封堵清单中每个URL距离标准封堵时长的剩余天数，是该URL 按照标准封堵时长计算可释放解封的倒计时。每一个进入封堵清单的URL其默认 D参数值为D。（即标准封堵吋长），每过一自然天D参数值减1。Do可以按照数 据库屮URL从列入封堵到平均有效访问率降至预设阈值（例如40%）以下的天数 来设置，也可以依据封堵系统和解封探测系统的整体性能进行调整。某URL的D 参数值与其被重复封