基于陷阱的spider检测评价模型研究-计算机应用技术专业论文.docxVIP

沈阳航空航天大学硕士学位论文摘要 沈阳航空航天大学硕士学位论文 摘要 Spider(网络爬虫)是一种网络资源获取程序，它加速网络流通的同时也增加了网络 负载，有必要监控spider对网站的访问。目前，spider检测技术主要基于决策树，贝叶 斯网络等方法，针对这些检测技术的评价主要依靠人工分析web曰志数据，计算其召回 率和准确率。为避免人工分析带来的主观性，寻求一种新的有效的评价方法具有重要的 意义。 本文介绍了spider的特点以及常见spider检测技术，详细分析了现有检测技术评价 方法的优缺点。针对传统评价方法中存在的一些问题，提出一种基于陷阱技术的spider 检测评价方法，该方法利用陷阱在网站的布置情况和用户的访问过程信息，结合概率论 中的二项分布理论，给出了相关参数和指标的计算方法。 基于陷阱的评价模型不依赖于人工分析，具有很强的准确性，充分利用了陷阱特性， 巧妙的结合用户访问过程信息和二项分布理论，对现有的spider检测技术进行了多角度 的评价。同时也分析了不同时间阈值和不同陷阱布置率对评价结果的影响。 实验表明该评价方法与人工评价具有一致性，较基于人工分析的评价方法具有很大 的优势，具有准确性和客观性，也是一种很简便的自动评价方法。陷阱评价虽然在一定 程度上受时间阈值地干扰，但是如果这种变化控制在10％以内，陷阱评价结果将变得可 靠与可信。 关键词：陷阱；spider检测；准确率；召回率 沈阳航空航天大学硕士学位论文Abstract 沈阳航空航天大学硕士学位论文 Abstract Spider(Web robot)is a program for harvesting intemet resources，which not only speeds up the flow but also accelerates the load of the network，SO it is necessary to regulate and monitor behaviors of spiders visiting website．Currently,the evaluation of these detection techniques mainly relies on manual analysis of web log data to calculate the recall rate and accuracy．In order to avoid the subj ectivity of manual analysis，to find a new effective method is of great significance． The features of spiders and the common spider detection techniques are described in this paper．The advantages and disadvantages of existing evaluation methods of which are analyzed in detail．According to the fault of traditional evaluation methods，a novel evaluation method of spider detection techniques based on trap and combined with the binomial probability theory are proposed，which puts forward the calculation method of relevant parameters and indicators by utilizing the layout of trap Links and the process information of users’access to the website． The evaluation model based on the trap with strong accuracy does not rely on manual analysis，which makes full use of the trap features and skillfully combines the information of user access to website and the binomial theory,and it can evaluate the existing spider detection techniques from various