Web搜索数据分析.pptx

Web搜索数据分析及其应用彭赓2013年3月中国科学院大学管理学院

大纲搜索、搜索行为和搜索数据搜索数据的应用扩展和进一步研究

一、搜索、搜索行为和搜索数据搜索：search，寻求，搜查《韩非子·外储说左下》：臣居鲁，树三人，皆为令尹；及虎抵罪於鲁，皆搜索於虎也《东周列国志》赵氏孤在宫中，索之不得，此天幸也！但可瞒过一时耳。后日事泄，屠贼又将搜索。必须用计，偷出宫门，藏于远地，方保无虞。

搜索、搜索行为和搜索数据搜索行为决策过程中的找寻与评价行为一般来说，对于个体人而言，搜索行为都是为了完成某一搜索任务的，往往与某个决策相关主体对象和目标信息

搜索、搜索行为和搜索数据互联网：信息承载的主要媒体特点：量大、面广、及时性强、形式多样化形态：文本、图片、视频和流媒体形式：页面、论坛bbs、评论、微博、博客…来源：政府和组织、企业、社团、个人…

搜索、搜索行为和搜索数据搜索引擎公共搜索引擎vs站内搜索引擎普通搜索引擎vs领域搜索引擎百度、搜狗、腾讯、迅雷、有道、Google、Yahoo、MSN、微软80%网络用户使用搜索引擎（CNNIC）

搜索、搜索行为和搜索数据搜索数据搜索引擎服务器记录的用户搜索引擎词频数据（一般表现为pv和uv）搜索数据能反映：整体用户的对某事情的关注程度T，有各种分类排行榜

提出问题个体搜索个体决策个体搜索个体决策个体搜索个体决策…………个体意识搜索个体行为必然存在关联性群体性的搜索能否反应群体性的行为？

比较完美的一致性！

提出问题既然个体的搜索行为能影响决策结果，那么由个体组合在一起的群体搜索数据，能否反映群体性行为？如果能，怎么反映？或者说怎么找到这种影响关系？社会和经济现象都是群体行为的结果，搜索数据可以用来分析哪些群体行为？

二、搜索数据的预测应用搜索数据能预测什么？搜索数据为什么具有预测的能力？搜索数据如何用来预测？搜索数据预测的优点是什么？

1、搜索数据能预测什么？流行疾病的哨兵监控和预报学者数据来源主要结论HeatherA（2004）；Johnson（2004）医学类网站有关流感的信息访问次数相关信息访问次数与CDC公布的流感人数存在相关性Eysenbach（2006）；Polgreen（2008）；Philip（2008）；Hulth（2009）；Wilson（2009）；Jurgen（2009）网民利用搜索引擎对流行性感冒的相关关键词的搜索次数搜索指数与流感发病率存在长期稳定关系，利用指数可以提前预测出流感发病情况及流感的死亡率JeremyGinsberg（2009）谷歌日志中的5000万个关键词中与流感发病率拟合最好的45个关键词利用搜索指数可以比传统方法提前1-2周预测流感发病率，且可以分地区精确监测JoshuaRitterman（2009）利用蜘蛛程序在UGC（UserGenerateContent）媒体抓取的关键词利用流感的历史数据和关键词指标组合预测的效果最好

搜索数据能预测什么？宏观经济发展指标的监控和预报学者研究内容主要结论Konstantin（2009）；Torsten（2009）；Nicolás（2009）；Marta（2009）网络搜索与个人消费以及消费者信心指数之间的相关性及加入搜索项后的预测效果。利用搜索指数预测消费增长率，其精确度要比其他方法的最优值高出20%，并且能够实现以周为间隔的预测。Askitas（2009）；Hyunyoung（2009）；Francesco（2009）；Francesco（2010）网络搜索与失业率之间的相关性以及加入搜索项后对预测结果的改进。网络搜索与当月的失业率有着非常强的相关关系，预测效果优于利用工业生产指数、就业预期指数预测所得结果。Jose（2009）；Joseph（2009）；刘颖（2010）网络搜索与股票价格、石油价格之间的相关性。网络搜索与股价、油价之间存在相关性，可以用来解释价格的波动。Tanya（2009）；张崇（2010）网络搜索与以色列经济周期以及中国物价指数之间的关系。网络搜索可以用作经济周期的监测指标，且在各类宏观经济指标中，网络搜索与失业率的相关性最高。对中国物价指数预测的准确率达到99%

搜索数据能预测什么？大宗商品/服务的消费监控和预报学者研究内容主要结论Varian（2009）；袁庆玉（2010）网络搜索与汽车、汽车零配件、房地产销售量的相关性以及加入搜索项的预测改善。搜索指数能够改善模型预测效果，对汽车及汽车零配件和房屋销量的预测精度提高了18％和12%。Brynjolfsson（2009）；Kulkarni（2009）王变（2011）网络搜索与房地产销售量及价格的相关性，以及加入搜索项后对预测效果的改进。网络搜索与房屋销量和价格高度相关，且存在Granger因果关系；利用搜索指数