用户定制主题聚焦爬虫的设计与实现.docx

用户定制主题聚焦爬虫的设计与实现 闵 钰 麟１，２，黄 用户定制主题聚焦爬虫的设计与实现 闵 钰 麟１，２，黄 永 峰１，２ （１．清 华 大学 电子工程系 信息认知与智能系统研究所 ，北 京 １０００８４； ２．清华大学 信息科学与技术国家 实验室 ，北 京 １０００８４） 摘 要 ： 传统的聚焦爬虫在主题未知或者 缺少相应训练集的情况下无法完成主题爬行 。 为让聚焦爬虫具有更好的主 题 适 应 性 ， 提出基于聚类算法的自适应主题模型 ， 指导聚焦爬虫在只有少量相同主题 （主 题 未 知 ） 初 始 ｕｒｌ的 情 况 下 完 成 主 题 爬 行 。 通过对初始页面聚类得到主题中心 向 量 ， 寻找相关网页更新主题中心位置 ； 基 于 ｂｅｓｔ－ｆｉｒｓｔ策 略 实 现 ｕｒｌ排 序 ； 基于该模型实现用户定制主 题 聚 焦 爬 虫 。 通过对比实验验证了使用该模型 的爬虫具有较高的收获比 （ｈａ－ ｖｅｓｔｒａｔｅ）。 关 键 词 ： 聚 焦 爬 虫 ；ｋ－ｍｅａｎｓ；ｂｅｓｔ－ｆｉｒｓｔ策 略 ； 自适应主题模型 ； 用户定制主题爬虫 中 图 法 分 类 号 ：ＴＰ３１１ 文 献 标 识 号 ：Ａ 文 章 编 号 ：１０００－７０２４ （２０１５）０１－００１７－０５ ｄｏｉ：１０．１６２０８／ｊ．ｉｓｓｎ１０００－７０２４．２０１５．０１．００４ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｕｓｅｒｃｕｓｔｏｍｉｚｅｄ ｔｏｐｉｃｆｏｃｕｓｅｄｃｒａｗｌｅｒ ＭＩＮ Ｙｕ－ｌｉｎ１，２，ＨＵＡＮＧ Ｙｏｎｇ－ｆｅｎｇ１，２ （１．ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＣｏｇｎｉｔｉｏｎａｎｄＩｎｔｅｌｌｉｇｅｎｃｅＳｙｓｔｅｍ，ＤｅｐａｒｔｍｅｎｔｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ， ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎａ；２．ＴｓｉｎｇｈｕａＮａｔｉｏｎａｌＬａｂｏｒａｔｏｒｙｆｏｒＩｎｆｏｒｍａｔｉｏｎ ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅｔｒａｄｉｔｉｏｎａｌｆｏｃｕｓｅｄｃｒａｗｌｅｒｃａｎｎｏｔｗｏｒｋ ｗｉｔｈｏｕｔｔｒａｉｎｓｅｔｓｏｆｃｏｒｒｅｓｐｏｎｄｔｏｐｉｃｓ．Ｔｏ ｍａｋｅｔｈｅｆｏｃｕｓｅｄｃｒａｗｌｅｒ ａｄａｐｔｔｏｍｏｒｅｔｏｐｉｃｓ，ａｃｌｕｓｔｅｒｉｎｇ－ｂａｓｅｄａｄａｐｔｉｖｅｔｏｐｉｃｍｏｄｅｌｗａｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈｈｅｌｐｅｄｔｈｅｆｏｃｕｓｅｄｃｒａｗｌｅｒｔｏｗｏｒｋｗｉｔｈｓｏｍｅ ｕｒｌｗｉｔｈｔｈｅｓａｍｅｔｏｐｉｃ．Ｔｈｅｔｏｐｉｃｖｅｃｔｏｒｗａｓｏｂｔａｉｎｅｄｂｙｃｌｕｓｔｅｒｉｎｇｔｈｅｉｎｉｔｉａｌｐａｇｅ，ａｎｄｃｏｒｒｅｓｐｏｎｄｐａｇｅｗａｓｆｏｕｎｄｏｕｔｔｏｕｐ－ ｄａｔｅｔｈｅｔｏｐｉｃｖｅｃｔｏｒ，ｔｈｅｕｒｌｗｉｔｈｔｈｅｂｅｓｔ－ｆｉｒｓｔｓｔｒａｔｅｇｙｗａｓｏｒｄｅｒｅｄｔｈｅｎ．Ｂａｓｅｄｏｎｔｈｅａｄａｐｔｉｖｅｔｏｐｉｃｍｏｄｅｌ，ａｕｓｅｒｃｕｓｔｏｍｉｚｅｄ ｔｏｐｉｃｆｏｃｕｓｅｄｃｒａｗｌｅｒｗａｓｉｍｐｌｅｍｅｎｔｅｄ．Ｆｉｎａｌｌｙ，ａｎｅｘｐｅｒｉｍｅｎｔｗａｓｅｘｅｃｕｔｅｄ．Ｔｈｅｒｅｓｕｌｔｓｐｒｏｖｅｔｈｅｆｏｃｕｓｅｄｃｒａｗｌｅｒｗｉｔｈｔｈｅ ａｄａｐｔｉｖｅｔｏｐｉｃｍｏｄｅｌｐｅｒｆｏｒｍｓｗｅｌｌ． Ｋｅｙｗｏｒｄｓ：ｆｏｃｕｓｅｄｃｒａｗｌｅｒ；ｋ－ｍｅａｎｓ；ｂｅｓｔ－ｆｉｒｓｔｓｔｒａｔｅｇｙ；ａｄａｐｔｉｖｅｔｏｐｉｃｍｏｄｅｌ；ｕｓｅｒｃｕｓｔｏｍｉｚｅｄｔｏｐｉｃｆｏｃｕｓｅｄｃｒａｗｌｅｒ 不 依 赖 于 主 题 训 练 集 ， 仅在用户提供少量未知主题的种子 ｕｒｌ （同 一 主 题 ） 的 情况下完成主题爬行 ， 得 到 针 对 该 主 题 引 言 ０ 互 联 网 时 代 用户的个性化需求越来越高 ， 在 实 际 应 用 场 景 下 ， 不 同 用户的需求通常存在差异 ， 他 们 希 望 在 其 特 定领域及方向上进 行 “定 制 化 ” 的 主 题 爬 行 。 传 统 的 聚 焦 爬 虫 在 开 始 工 作之前需要对指定主题进行建模和训练 ， 在 缺 乏 相 应 主 题 训练集的情况下无法完成任务 ， 不 能 满 足 用 户 “个 性 化 ” 需 求 。 本 文 设计并实现的定制主题聚焦爬虫 较 高 的 收 获 率 （ｈａｖｅｓｔｒａｔｅ）。 相 关 工 作 分 析 １ 聚 焦 爬 虫 通 过 对 ｕｒｌ的优先级进行计算和排序 ， 优 先 访 问较高概率指