大数据时代下统计推断的贝叶斯方法应用.docxVIP

大数据时代下统计推断的贝叶斯方法应用

一、大数据时代统计推断的语境变迁与方法适配需求

（一）大数据对传统统计推断范式的冲击

随着数字技术的普及，人类社会的数据产生、采集和处理能力发生了质的飞跃，统计推断作为从数据中提炼规律、支撑决策的核心工具，其应用场景和数据基础已经发生了深刻变化。在传统的小数据时代，统计推断往往依赖严谨设计的抽样方案，从目标总体中抽取具有代表性的有限样本，基于频率学派的理论框架完成参数估计、假设检验和预测分析，核心逻辑是通过样本信息推断总体特征，其理论有效性建立在样本独立同分布、大样本渐近性质、抽样框覆盖完整等前提之上。这种依赖固定抽样框、大样本渐近性质的推断范式，在数据来源单一、结构稳定、样本采集过程可控的小数据时代具备良好的应用效果，但在大数据场景下往往会出现适配性不足的问题（吴喜之，2020）。

大数据的核心特征从来不是单纯的样本规模扩大，而是数据维度的高维化、数据来源的异构化、数据产生的动态化和价值分布的稀疏化。从数据维度看，当前很多分析场景的变量数量已经远超有效样本量，比如生物信息研究中的基因位点数据、互联网平台的用户画像数据，往往可以采集到成百上千甚至上万个维度的变量，但真正和研究目标相关的核心信号只占很小一部分；从数据来源看，当前分析所用的数据往往不是来自统一设计的抽样调查，而是来自业务系统沉淀、传感器采集、互联网文本抓取等多种渠道，既有结构化的数