网络数据在CPI中应用.PDFVIP

网络数据在CPI中的应用 中国国家统计局 城市社会经济调查司流通消费价格处 孙易冰 目录 1 研究背景 2 网络爬虫技术及获取的数据特征 3 基于网络爬虫的价格指数编制模型及实证 4 优点和问题 国家统计局城市社会经济调查司 1 研究背景  必要性  近年来，B2C型（、 ）和C2C型 （、 ）电子商务网站发展迅速，给 个人消费行为带来了巨变。  网络中本身存在的海量数据也提示官方统计部门将其应用到CPI 统计中。  官方统计部门存在的困难  官方统计部门（外部数据获取者）和电子商务公司（内部数据拥 有者）相比，难以获得真实成交价格，真实销量等数据。  难以确定网络销售行为的真实性。  难以确定电子商务与传统零售业之间销量的占比。 国家统计局城市社会经济调查司 2 研究背景 官方CPI部门仍以现场采价为主 中国CPI现行工作模式  采价方式：采价员定期现场采价。  权数获取：主要来自13.3万户城乡居民住户收支调查。  计算方法：链式拉式公式。  质量调整：国际推荐的主要方法。 全国4000多名采 实时上报代表规 计算各基本分类 价员定期采集 格品价格数据， 指数并汇总生成 6.3万个采价点 各级工作人员审 CPI总指数 的价格数据 核价格 国家统计局城市社会经济调查司 3 目录 1 研究背景 2 网络爬虫及获取的数据特征 3 基于网络爬虫的价格指数编制模型及实证 4 优点和问题 国家统计局城市社会经济调查司 4 网络爬虫及获取的数据特征 外部数据获取者：基于网络爬虫的工作流程 • 按照“同质可比”对价格数据计 算 • 从非结构化数据中提取有用信息 • 基于网络爬虫技术抓取网络电商数据 网络爬虫：按规则对目标网站内容进行遍历，并按照指定格式提取 出有用信息。 国家统计局城市社会经济调查司 5 网络爬虫的基本情况 在Linux环境下采用 Perl编写网络爬虫程序。以 京东商城（ ）手 机栏目为例，日数据量在 200MB左右。 由于电商通常采用HTML