基于大数据的统计分析模型设计.pdfVIP

基于大数据的统计分析模型设计

统计是利用尽可能少的局部样本数据来发现总体规律，处

理对象往往数据规模小且数据结构单一。在大数据环境下，面

临海量数据的采集与统计，传统方法已无法满足大规模数据集

处理。基于Hadoop系统，利用其分布式存储和并行处理机

制，设计了大数据环境下的统计分析模型，从海量数据中提取

出有用的信息特征，实现数据资源共享，为相关部门决策提供

信息服务。

0引言

随着统计数据规模的快速增长，数据特征日趋复杂，数据

收集渠道多样，统计学相关领域研究已进入大数据时代。如何

高效收集样本数据、挖掘信息，从海量数据中提取有用的信息

特征，将信息及时提供给相关部门决策，成为当前统计学研究

热点之一。与国外相比，我国在统计分析工作中存在信息资源

整合程度不高、数据共享匮乏、信息不完整等问题。随着大数

据时代的到来，对大数据分析与挖掘的研究和应用越来越重

视，大数据的挖掘与分析将帮助统计部门在有效合理的时间内

采集、处理、管理与分析海量数据。

目前政府部门间借助政务平台可以实现数据资源共享，但

是企业与政府间缺乏数据的分享平台，造成了信息隔离，对

此，统计部门要构建起全方位的海量数据共享和分布式存储的

安全统计分析平台，实现跨地区的统计信息交流，满足海量信

息数据的实时分享和处