基于程序切片的网页过滤技术-计算机技术专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 互联网的高速发展已经使其成为世界上覆盖面最广、范围最大、内容最为丰富的资源库。 网络已成为人们获取信息的主要途径，人们可以在搜索引擎里输入要查询的内容，索引出自 己要查找的资料。但是随着信息的爆炸，各种无关的信息或者广告掺杂其中，真假难辩。面 对庞大的信息资源,如何从中获取有价值的信息成为当前一个非常重要的问题。 传统的网页过滤技术通过挖掘网页中的 URL 和文本来与自己数据库的黑名单进行比对， 不仅消耗过多的时间和资源，也加大了服务器的承受能力。本文将程序切片技术应用于网页 过滤中，通过将 HTML 语句构造成树形图，将待过滤的关键字与树形图的叶子结点进行匹配， 提取出匹配成功的叶子结点的父结点的行号，制定出切片准则，通过网页代码中存在的新的 依赖关系，构建依赖图，在切片准则的基础上对依赖图进行切片处理，得到切片，只保留与 切片准则相关的语句集，最后还原成可视化的网页。本文所实现的网页过滤技术，不仅能有 效地过滤掉用户不需要的，还可以提取用户感兴趣的，而且过滤的程度也可以进行不同程度 的设置，此方法不仅速度快、对服务器的承载能力要求低、还能实现各种个性化的过滤功能。 关键词：网页过滤，标签，程序切片，信息提取，依赖图 I Abstract The rapid development of the Internet has to become the worlds most extensive coverage, the largest and most abundant resources of the information network. the Internet has become the main way of getting information. People can input the content that they want to query in the search engine, search out the information. But as the exploding of information, a variety of unrelated information or advertising sneaks in, and the genuine and fake is difficult to distinguish. Facing the gigantic information resources,how to obtain valuable information on the current become a very important question. Traditional network Information filtering technology contrast through digging into URL and text in web page with blacklists in its own database. This way not only consumes too much time and resources, but also increases the server capacity. This test apply the program slicing technology to network information filtering, by forming HTML statement into tree Diagram, to match key words with leaves in tree diagram, e