一种基于网络爬虫技术的价格指数计算模型.pdfVIP

第 3l卷第 l0期 统计研究 V01．31．No．10 2014年 10月 StatisticalResearch oct．2014 一 种基于网络爬虫技术的价格指数计算模型 孙 易冰 赵子东 刘洪波 内容提要 ：本文参照官方 CPI的制度方法 ，设计 了一种基于 网络爬虫技术 的价格指数计算模型 。通过模型试 算值与官方数据 的比较 ，以及对原始数据 的特征挖掘 ，发现该种模型具有时效性强和灵敏度高的特点。 关键词 ：价格指数 ；网络爬虫；聚类分析 ；幂律分布 中图分类号：C813 文献标识码 ：A 文章编号：1002—4565(2014)10—0074—07 A M odelofCompilingPriceIndexBasedonthe “W ebScraping”Technology SunYibing ZhaoZidong Liu Hongbo Abstract：Inrecentyears，somedomesticandforeign institutionshavebeenconductingresearch onusingbig datain compilingonlineprice indexes．Thispaperdesignsamodelofcompiling price index based on the ‘web scraping’ technologybyreferring totheofficialCPImethodology．Bycomparingresultsofthismodelwith officialCPIdata，and analyzingcharacteristicsofraw data，wefindoutthatthemodelhastheadvantagesofstrongtimelinessandhigh sensitivity． Keywords：PriceIndex；W eb scraping；ClusterAnalysis；Power—Law Distribution 分析了数据特征 ；第五部分设计 了一种基本分类商 一 、 问题 的提 出 品的日度价格指数计算模型，进行了实证分析并与 近年来大数据技术 已经深刻影响着统计工作 ， 官方数据比较；第六部分为结论。 统计部门只有积极应用大数据技术 ，才能更好地为 二、CPI指数和几种 网络价格指数 有关部门决策提供依据。其中，价格统计部门当前 的 比较 的首要任务就是处理好网络购物等经济生活中的新 动态 ，并利用大数据技术完善价格指数编制工作。 从一般意义来说 ，价格指数是指两个不 同时期 国外官方统计部门通常认为网络零售商是价格 价格水平变动的相对数 ，即报告期价格水平与基期 调查点并纳入居民消费价格指数 (以下简称 CPI)调 价格水平变动的比例关系。通过建立时间序列 ，用 查中。其 中，美 国CPI调查统计 中9％的原始数据 来分析研究一个较长时期相关商品或者生产要素价 是通过互联网采集的。学术界和网络零售商则基于 格与供求关系变化的规律 ，同时还可以用来预测未 不同考虑 ，针对各 自获取数据的特点，设计出不 同的 来一个时期市场发展变化的趋势。价格指数中影响 网络价格指数 。 最大的就是 CPI。 本文通过分析 网络爬 虫获取 的数据 ，在传统