移动新闻自适应采集方法研究.PDFVIP

———————————————————————————————————————————————— 移动新闻自适应采集方法研究 作者 胡建洪，徐建，董克源，高鑫 机构 南京理工大学 计算机科学与工程学院 基金项目 赛尔网络下一代互联网技术创新项目（NGI 预排期卷 《计算机应用研究》2018 年第35 卷第10 期 摘要 通过分析面向传统新闻门户网站和面向移动新闻应用的新闻采集方法的异同，提出了一种面 向移动新闻应用的自适应新闻采集方法。该方法先通过代理对移动新闻应用与服务器通信的 数据包进行解析，构造出移动新闻应用的站点地图；然后通过模拟用户行为自适应地增量采 集新闻数据，提高更新效率并保证新闻采集的完整性。以国内外 20 多家主流的移动新闻应 用为实验对象开展验证，实验结果表明该方法的有效性和实时性。 关键词 移动新闻应用；新闻爬虫；站点地图；自适应；增量更新 作者简介 胡建洪（1992-），男，四川安县人，硕士，主要研究方向为数据挖掘；徐建（1979-），男（通 信作者），副教授，博士，主要研究方向为数据挖掘（dolphin.xu@ ）；董克源 （1992-），男，硕士，主要研究方向为数据挖掘；高鑫（1994-），男，硕士，主要研究方向 为数据挖掘． 中图分类号 TP391 访问地址 /article/02-2018-10-002.html 发布日期 2017 年9 月27 日 引用格式 胡建洪, 徐建, 董克源, 高鑫. 移动新闻自适应采集方法研究[J/OL]. 2018, 35(10). [2017-09- 27]. /article/02-2018-10-002.html. 35 10 Vol. 35 No. 10 第 卷第 期 计算机应用研究 优先出版 Application Research of Computers Online Publication 移动新闻自适应采集方法研究 * † 胡建洪，徐 建，董克源，高 鑫 (南京理工大学 计算机科学与工程学院, 南京 210094) 摘 要：通过分析面向传统新闻门户网站和面向移动新闻应用的新闻采集方法的异同，提出了一种面向移动新闻应用 的自适应新闻采集方法。该方法先通过代理对移动新闻应用与服务器通信的数据包进行解析，构造出移动新闻应用的 站点地图；然后通过模拟用户行为自适应地增量采集新闻数据，提高更新效率并保证新闻采集的完整性。以国内外20 多家主流的移动新闻应用为实验对象开展验证，实验结果表明该方法的有效性和实时性。 关键词：移动新闻应用；新闻爬虫；站点地图；自适应；增量更新 中图分类号：TP391 Research on adaptive crawling method of mobile news † Hu Jianhong, Xu Jian , Dong Keyuan, Gao Xin (School of Computer Science Engineering, Nanjin