测不准问题的研究新进展.PDFVIP

InnovationinChina 社会经济中大数据“测不准”问题的研究 新进展* ■ 刘颖1,2** 张晴晴1,2** 1.中国科学院大学经济与管理学院 北京 100190 2.中国科学院大数据挖掘与知识管理重点实验室 北京 100190 摘 要：大数据为社会经济预测提供了更丰富的数据来源和维度，但是也带来伪回 归、过度拟合等预测风险，使得实际应用中“测不准”问题频繁出现。本文系统梳理“测不 准”问题的定义和内涵，总结社会经济领域中“测不准”问题的形成机理，发现其主要原因 是预测对象会受到预测结果的影响而改变行为决策，最新文献尝试从去噪和因果分析等 角度解决这一问题。最后本文在此基础上提出一个新的大数据预测理论框架，并对未来 研究进行展望。 关键词：大数据 测不准 因应行为 文献综述 DOI:10.11842/chips.2019.02.002 1 引言 2008 年谷歌（Google ）上线流感预测产品谷歌流感 趋势（Google Flu Trends ，下称“GFT”），利用人们搜索 全球数据量大幅增长、数据存储和处理等计算机技 流感相关关键词的频次数据预测某地区的流感疫情趋 术飞速发展，大数据时代已经到来。大数据最核心的用 [4] 势 ，大数据技术得到业界和学术界的广泛关注。但是 途是建立模型预测未来事件的发生，帮助人类提前采取 [1] 好景不长，GFT 随后接连出现测不准现象：首先是没有 行动，使其朝理想方向发展 。互联网数据与统计调查 数据、自然数据等融合互补而形成的大数据资源能够度 预测到2009 年H 1N 1禽流感的爆发，为此Google 对预测 量微观个体的行为、意图、情绪和观点等信息，为社会经 算法进行调整。然而调整后的GFT 在2011~2013 年期间 济行为预测提供了一个新的分析视角，带来了卓有成效 的表现仍不尽人意，从“遗漏预测”转向了另一个极端 [2] ——“过度预测”。这种现象在其他行业预测中也普遍 的预测结果 。社会经济预测领域中利用大数据技术提 高预测准确性的相关研究也越来越多，并且在诸多典型 存在，例如交通预报会影响实际车流导致预报失准、能 [2] 源危机预测会影响人们的能源消耗行为导致危机延后、 行业的应用中取得了显著进展 。但是数据维度的增多 同样带来更多潜在风险，伪回归、过度拟合等问题导致 股市预告会影响投资者交易行为等。大数据预测的“滑 [3] 铁卢”引发了学者们的广泛热议。 预测与实际存在较大偏差，普遍存在“测不准”问题 。 * 国家自然科学基金项目“考虑因应行为的股市多主体行为演化特征与推理方法研究”）；国家自然科学 基金项目“房地产市场与金融风险防范”）；国家自然科学基金项目“大数据环境下金融风险传导与防范 研究”）。 ** 刘颖，博士，副教授、硕士生导师，研究方向：大数据网络经济；张晴晴，在读硕士研究生，研究方向：大数据网络经济。 SCIENCETECHNOLOGY FOR DEVELOPMENT 121 创新中国 Butler[5]研究发现GFT 在2012 年对圣诞节美国全国 定性的普遍存在使得社会预测不可能