大数据相关开源框架与技术应用研究.docxVIP

大数据相关开源框架与技术应用研究 摘要：本文在分析大数据相关开源框架和技术的基础上，提出基于大数据、多租户、容器化等开源框架实现数据采集报送、分类统计、共享协同、数据展示、分析预测的框架设计与关键技术应用。该功能设计在某大型企业报表系统中已成功实践应用，有效解决了传统系统信息难共享、数据难融合、标准不统一等问题。 为实现煤炭、电力、化工等各大产业板块报表及各层级单位报表的多级应用，落实上级的统一数据报送要求，满足数据采集报送、分类统计、共享协同、数据展示、分析预测等数据资源管理系统建设的业务需求，以及加强各单位之间的数据融合，实现集团全口径统计数据管理，并且满足不同单位可以实现自定义报表功能的实际需要，完成全过程、全口径业务统计分析，整合生产历史数据，提高数据整合和经营统计分析能力、加强数据校验水平。智能报表平台通过大数据、容器化、微服务、多租户和分布式服务等技术的应用为集团高层决策提供了可靠的数据支撑。1 总体架构智能报表平台按照集团指标标准体系和管控平台要求实现指标统一分类、统一定义，确保指标分类科学、定义准确、来源清晰、接入规范、质量可控、数据可用。面向集团报表的整体需求，平台分三个组成部分：统计平台、采集平台、报表平台。提供了数据从采集、填报、校验、计算、汇总统计、报表、搜索、共享发布及服务的一体化解决方案。平台采用大数据平台的数据支撑和标准支撑为基础。统