深层网站Ajax页面数据采集研究综述-计算机应用研究.PDFVIP

第３０卷第６期 计 算 机 应 用 研 究 Ｖｏｌ３０Ｎｏ６ ２０１３年６月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｊｕｎ２０１３ 深层网站Ａｊａｘ页面数据采集研究综述 杨俊峰，黎建辉，杨风雷 （中国科学院计算机网络信息中心，北京 １００１９０） 摘　要：如果能够提高网络爬虫采集Ａｊａｘ网页数据的能力，必然会提高搜索引擎的覆盖率和准确率。因此，深 层网站Ａｊａｘ页面数据采集成为当前网络爬虫技术研究的热点之一。从深层网站Ａｊａｘ页面数据采集的研究目 标、近年来国内外采取的研究方法和取得的成果（研究领域、采集流程、支撑技术）、未来的研究方向三个方面进 行了综述。 关键词：Ａｊａｘ；深层网；Ｗｅｂ２．０；数据采集 中图分类号：ＴＰ３９１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１３）０６１６０６０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１３．０６．００２ Ｓｕｒｖｅｙｏｎｒｅｓｅａｒｃｈｏｆｄａｔａｃｏｌｌｅｃｔｉｏｎｆｒｏｍ ｓｕｐｐｏｒｔｉｎｇＡｊａｘｔｅｃｈｎｏｌｏｇｙｄｅｅｐＷｅｂｓｉｔｅｓ ＹＡＮＧＪｕｎｆｅｎｇ，ＬＩＪｉａｎｈｕｉ，ＹＡＮＧＦｅｎｇｌｅｉ （ＣｏｍｐｕｔｅｒＮｅｔｗｏｒｋＩｎｆｏｒｍａｔｉｏｎＣｅｎｔｅｒ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＩｆｒｅｓｅａｒｃｈｅｒｓｃａｎｉｍｐｒｏｖｅｔｈｅａｂｉｌｉｔｙｏｆｄａｔａｃｏｌｌｅｃｔｉｏｎｆｒｏｍｓｕｐｐｏｒｔｉｎｇＡｊａｘｔｅｃｈｎｏｌｏｇｙｄｅｅｐＷｅｂｓｉｔｅｓ，ｉｔｉｓ ｂｏｕｎｄｔｏｉｍｐｒｏｖｅｔｈｅｃｏｖｅｒａｇｅａｎｄａｃｃｕｒａｃｙｏｆｓｅａｒｃｈｅｎｇｉｎｅ．Ｔｈｅｒｅｆｏｒｅ，ｄａｔａａｃｑｕｉｓｉｔｉｏｎｆｒｏｍｄｅｅｐＷｅｂｓｉｔｅｓｓｕｐｐｏｒｔｉｎｇＡｊａｘ ｔｅｃｈｎｏｌｏｇｙｉｓｂｅｃｏｍｉｎｇｏｎｅｏｆｔｈｅｈｏｔｓｐｏｔｓｏｆｃｕｒｒｅｎｔＷｅｂｃｒａｗｌｅｒｔｅｃｈｎｏｌｏｇｙ．Ｔｈｉｓｐａｐｅｒｆｉｒｓｔｅｌａｂｏｒａｔｅｄｔｈｅｒｅｓｅａｒｃｈｔａｒｇｅｔｏｆ ｄａｔａｃｏｌｌｅｃｔｉｏｎｆｒｏｍｓｕｐｐｏｒｔｉｎｇＡｊａｘｔｅｃｈｎｏｌｏｇｙｄｅｅｐＷｅｂｓｉｔｅｓ，ｔｈｅｎｉｎｔｒｏｄｕｃｅｄｔｈｅｒｅｃｅｎｔａｄｖａｎｃｅｓａｃｈｉｅｖｅｄａｎｄｒｅｓｅａｒｃｈ ｍｅｔｈｏｄｓｕｓｅｄａｔｈｏｍｅａｎｄａｂｒｏａｄ，ｉｎｃｌｕｄｉｎｇｔｈｅｆｉｅｌｄｏｆｒｅｓｅａｒｃｈ，ｄａｔａｃｏｌｌｅｃｔｉｏｎｐｒｏｃｅｓｓｆｌｏｗａｎｄｔｈｅｒｅｌｅｖａｎｔｓｕｐｐｏｒｔｉｎｇ ｔｅｃｈｎｏｌｏｇｙ．Ａｔｌａｓｔ，ｉｔｄｉｓｃｕｓｓｅｄｔｈｅｎｅｗｒｅｓｅａｒｃｈｔｒｅｎｄｓ． Ｋｅｙｗｏｒｄｓ：Ａｊａｘ；ｄｅｅｐＷｅｂ；Ｗｅｂ２．０；ｄａｔａｃｏｌｌｅｃｔｉｏｎ 盖率和准确率。因此，解析ＪａｖａＳｃｒｉｐｔ代码执行流程并获取页 　引言 面中异步传输的内容成为当前网络爬虫技术研究热点之一。 网站应用开发从传统静态页面发展到了具有以丰富的浏 　深层网站 页面数据采集研究目标 览器体验、社会化网络、海量数据处理等为特征的Ｗｅｂ２０。 其中２００５年左右兴起的 Ａｊａｘ（ａｓｙｎｃｈｒｏｎｏｕｓＪａｖａＳｃｒｉｐｔａｎｄ 深层网站Ａｊａｘ页面数据采集的实现依赖于Ａｊａｘ网络爬 ［１］ 虫，依据适用范围和可扩展性不同分成两类：针对特定深层网 ＸＭＬ） 技术起到了巨大的推动作用，其突