一种主题知识自增长的聚焦网络爬虫.pdfVIP

第３１ 卷第５ 期　　　 计算机应用与软件 Ｖｏｌ３１ Ｎｏ．５ ２０１４年５ 月　　 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｍａｙ ２０１４ 一种主题知识自增长的聚焦网络爬虫 １ ２ ３ ４ ５ 李东晖　廖晓兰 　范辅桥 　黄九鸣　陈雪刚 １ （湖南农业大学信息科学与技术学院　湖南 长沙４１０１２８） ２ （湖南农业大学植物保护学院　湖南 长沙４１０１２８） ３ （厦门通融软件科技有限公司　福建 厦门３６１００８） ４ （解放军７３１１１ 部队博士后工作站　福建 厦门３６１０２５） ５ （湘南学院计算机科学系　湖南 郴州４２３０００） 摘　要　　聚焦网络爬虫是各类因特网文本挖掘和信息检索应用必需的处理步骤。现有聚焦网络爬虫面临着知识描述困难、误差 易被放大等挑战。发现网页中主题知识存在的若干性质，提出一种主题知识自增长的聚焦网络爬虫ＫＡＧＣｒａｗｌｅｒ，在网页爬取过程 中采用一种无监督的学习技术不断扩展主题知识，从而使爬虫在一个简单的初始主题描述条件下，能够以较高正确率爬取大量网 页。同时为便于主题知识的扩展，还提出一种新的主题表示模型，并基于该模型构建了新的网页主题和ＵＲＬ 主题相关度方法。最 后在真实环境下的实验表明，ＫＡＧＣｒａｗｌｅｒ 的性能显著高于传统基于文本相似度的聚焦网络爬虫。 关键词　　聚焦网络爬虫　无监督学习　知识扩展　主题相关度 中图分类号　ＴＰ３１６　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０５．００７ Ａ ＦＯＣＵＳＥＤ ＮＥＴＷＯＲＫ ＣＲＡＷＬＥＲ ＷＩＴＨ ＴＯＰＩＣ ＫＮＯＷＬＥＤＧＥ ＡＵＴＯＭＡＴＩＣＡＬＬＹ ＧＲＯＷＩＮＧ Ｌｉ Ｄｏｎｇｈｕｉ 　Ｌｉａｏ Ｘｉａｏｌａｎ 　Ｆａｎ Ｆｕｑｉａｏ 　Ｈｕａｎｇ Ｊｉｕｍｉｎｇ 　Ｃｈｅｎ Ｘｕｅｇａｎｇ１ ２ ３ ４ ５ １ （Ｃｏｌｌｅｇｅ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，ＨｕｎａｎＡｇｒｉｃｕｌｔｕｒａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ４１０１２８，Ｈｕｎａｎ，Ｃｈｉｎａ） ２ （Ｃｏｌｌｅｇｅ ｏｆＰｌａｎｔ Ｐｒｏｔｅｃｔｉｏｎ，ＨｕｎａｎＡｇｒｉｃｕｌｔｕｒａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ４１０１２８，Ｈｕｎａｎ，Ｃｈｉｎａ） ３ （Ｘｉａｍｅｎ Ｔｏｎｇｒｏｎｇ Ｓｏｆｔｗａｒｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ，Ｌｔｄ，Ｘｉａｍｅｎ３６１００８，Ｆｕｊｉａｎ，Ｃｈｉｎａ） ４ （Ｐｏｓｔｄｏｃｔｏｒａｌ Ｓｃｉｅｎｃｅ Ｒｅｓｅａｒｃｈ Ｗｏｒｋｓｔａｔｉｏｎ ｏｆＰＬＡ Ｕｎｉｔ ７３１１１，Ｘｉａｍｅｎ３６１０２５，Ｆｕｊｉａｎ，Ｃｈｉｎａ） ５ （Ｄｅｐａｒｔｍｅｎｔ ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，Ｘｉａｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｚｈｏｕ４２３０００，Ｈｕｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｆｏｃｕｓｅｄ ｎｅｔｗｏｒｋ ｃｒａｗｌｅｒ ｉｓ ａ ｐｒｏｃｅｓｓｉｎｇ ｓｔｅｐ ｎｅｃｅｓｓａｒｙ ｆｏｒ ｖａｒｉｏｕｓ ｔｙｐｅｓ ｏｆ Ｉｎｔｅｒｎｅｔ ｔｅｘｔ ｍｉｎｉｎｇ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ ａｐｐｌｉｃａｔｉｏｎｓ．Ｅｘｉｓｔｉｎｇｆｏｃｕｓｅｄ ｎｅ