基于主题爬虫网络零售竞争情报系统研究.docVIP

基于主题爬虫网络零售竞争情报系统研究 　　【摘要】针对当前网络零售业在线商品品种繁多、同质化严重、竞争情报收集困难的现状，利用当前流行的主题爬虫技术，建立网络零售竞争情报系统。系统能自动搜集指定竞争对手和指定领域内在线商品的实时信息，并能智能扩展或缩小收集范围。系统为商家提供及时准确的竞争情报，并起到很好的辅助决策作用。 　　【关键词】竞争情报；网络零售；主题爬虫；在线商品；辅助决策 　　根据中国互联网络信息中心的研究数据，2010年网络零售市场上用户比例（存在重复选项）第一的是服装鞋帽，为70.1%；第二的是电脑数码产品，为31.6%；第三的是图书音像制品，为31.4%。当前，网络零售商家收集竞争情报的途径主要为手工使用各种搜索引擎（如百度），或购买网络零售平台提供的分析工具（如淘宝的“数据魔方”）。手工使用搜索引擎效率较低，分析工具对大部分零??商家来说价格较贵，且只能获取单个平台的销售数据。主题爬虫是一个能自动从网页中提取指定相关内容的程序，它从一个或若干初始URL开始，不断获取当前页面上的新URL，循环深入进行相关内容抽取，直到达到停止条件。当前有很多免费的爬虫程序，例如Java开源的Heritrix。针对网络零售业，完全可以通过借助这些比较成熟的爬虫程序，为商家量身定制竞争情报系统。 　　一、系统的基本构成 　　系统分为两大部分，第一部分为接受商家指定主题和范围，然后在基本资料库中抽取关键词（含URL）推荐。基本资料库由系统在空闲时利用主题爬虫检索并智能生成，尽量涵盖常用网络零售领域和商品种类，可以增加检索准确度和提高效率。第二部分为商家确定关键词后，由系统利用主题爬虫深入全面地检索竞争情报，并将结果汇总为按时间排序的词条呈现。结果的呈现可以分为商家随时查看，以及定时自动汇总两种模式。商家还可以随时在基本资料库中进行关键词调整或者手工加入新的关键词，以改进情报搜集效果。系统整体结构如图1所示。 　　 　　图1 系统的功能结构图 　　二、系统的主要功能实现 　　1．主题爬虫的整合。以现有的Heritrix作为抽取指定URL内容的工具，抽取出来的内容则需进行主题分析、过滤，相关度足够高的内容中包含的URL才能放入队列，等待下一步抽取。（1）主题的表示。主题可以概括为关键词（不含URL）的向量组合。设主题共有n个关键词，则主题的关键词集合表示为T={t1，t2，...，tn}，ti为主题的第i个关键词。设ti的权重为wi（ti的重要性），则主题向量α表示为：ω=(w1，w2，...，wn)， wi=1。（2）相关性的概念。URL中内容与主题的相关性，可以利用主题的向量表示来衡量。设关键词ti在内容中出现的次数为ci，则整个URL与主题的相关性γ可表示为：γ=wici，ci=0，1，2...。可以根据已知的确定相关的若干URL计算出γ的平均值作为阈值M，γ值超过M的URL认为相关，小于的则过滤掉。主题相关性γ可用来确定主题爬虫每层抽取URL的广度。主题爬虫每次利用Heritrix抽取URL内容的深度固定为1，通过循环调用Heritrix来逐层深入。当某层次所有URL中与主题相关的比例低于某个值（比如50%）时，结束抽取。主题爬虫的抽取深度也可以由每层URL的主题相关性γ来综合决定。 　　2．基本资料库的创建。基本资料库是为了提高情报搜集效率，也是为了提升系统智能化水平而特意创建的一个关键词库，也包含URL在内。因为一个情报主题所含关键词很难完整而准确地被描述，系统会先利用主题爬虫收集商家提交的主题关键词在常用搜索引擎（如谷歌、百度）和零售平台（如淘宝）中的检索结果，统计其中的关键词和URL，将其中相关性高的放入基本资料库中，充实主题内涵。 　　以“手机”情报主题为例：将其百度检索结果URL“http：//www.省略/swd=手机”作为Heritrix起始URL，抽取内容。统计内容中的关键词，其中“行情”、“价格”以及各大手机资源网站URL均相关性（伴随“手机”出现的次数）较大，可以将这些放入基本资料库，作为“手机”主题的关键词候选项。同样，可以将谷歌、淘宝检索结果中的一些关键词，比如销量最大的手机店铺URL，放入基本资料库，作为“手机”主题的关键词候选项。商家可以自由更改基本资料库，删除不想要的关键词和URL，添加特殊关键词和指定URL（比如竞争对手网站）等。基本资料库的创建可以极大的提升系统的易用性，商家无需高深的行业知识和经验，也能选好主题关键词，为下一步的情报收集打下良好的基础。 　　3．竞争情报的收集。在基本资料库的帮助下，主题关键词可以相对较完善地给出，其中的URL作为主题爬虫的起始URL，其他词汇作为分析URL主题相关性的依据。（1）将主题关键词中所有初始URL放入待抽取队列S。（2）