用大数据平台实现煤炭运销领域企业级数据全景视图的研究.docVIP

用大数据平台实现煤炭运销领域企业级数据全景视图的研究 　　【摘 要】煤炭煤炭运销企业数据量巨大、数据类型多，目前对这些数据处理不仅工作量大而且精确度不高。为了解决这个问题，本文分析了在煤炭运销企业中应用大数据的服务对象和关键技术，提出了煤炭运销企业中大数据的总体架构，展望了大数据在煤炭运销领域经营管理中的推广应用。 　　【关键词】煤炭运销企业；大数据；全景视图 　　【Abstract】Coal Coal Transportation Enterprise huge amount of data， data types， data processing is not only the current workload and the accuracy is not high. To solve this problem， this paper analyzes the application of large data in a coal transportation enterprise clients and key technologies， the overall architecture proposed coal transportation enterprise big data， big data application prospect of coal transportation in the field of business management. 　　【Key words】Coal transportation business；Large transactions；Panoramic view 　　1. 引言 　　（1）“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是大量、高速、多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与优化处理。（Gartner定义）。 　　（2）大数据的发展经历了三个阶段。第一阶段，主要是技术研发概念推广、商业模式尝试阶段；第二阶段，主要是大数据的完善，行业应用，用户认可，数据资产化进程阶段；第三阶段，大数据解决方案成熟，大数据应用渗透各行业，数据驱动决策，信息社会智能化程度大幅度提升阶段。 　　（3）当前在内外部形势的变化，要求煤炭运销企业必须要转变思路、加快企业的转型升级，通过大数据应用变革，推动业务转变，驱动企业战略转型。基于大数据平台能力实现煤炭运销领域企业数据全景视图，是一项系统性、战略性、全局性工作；它涉及到市场营销、生产调运、物流发展、运营管理等各环节；是对跨单位、跨专业、跨业务的数据分析、挖掘和实施数据可视化。对满足煤炭运销企业数据量大、处理速度快、数据类型多、价值大、精确性高的基本要求有着十分重要的意义。 　　2. 数据全景视图的服务对象及能力 　　通过建立企业数据全景视图，时刻掌握企业的运营状况。通过多层次的数据下钻，直达执行末梢；通过多角度、多维度数据的分析，定义数据异常的原因，采取针对性措施。面向集团内部人员，提供精确化的分析服务，缩短工作流程，提高工作效率。面向外部客户，提供精准化营销服务，提升客户感知。面向产业链合作伙伴提供商情报告和目标客户，推进销售和服务向电子商务转移（见表1）。 　　3. 实现企业级数据全景视图的关键技术和总体架构 　　3.1 数据采集与交换。 　　数据采集与交换是构建大数据平台的基础，实现数据采集和数据交换的功能。大数据平台中的数据采集与交换框架涉及三部分内容： 　　（1）数据范围，包括自有业务系统、煤化集团相关系统、互联网和外部合作伙伴三个数据来源； 　　（2）数据采集，支持多种数据源类型、实时/定时的、海量的数据获取； 　　（3）数据交换，通过数据交换平台保障数据获取的有序、一致。 　　根据高价值数据优先、客户数据优先和内部数据优先的原则，逐步扩展数据采集范围。同时，在数据采集中，应高度重视数据交换平台的作用。 　　3.2 数据质量管理。 　　数据质量管理实现对数据源、处理过程、模型和指标等对象的数据质量进行监控和分析，以及相关问题的处理和跟踪。数据质量监控贯穿整个数据加工生产全流程。在数据生产及维护过程中设置监控采集点，结合数据标准化要求和元数据工具等，实现大数据全过程透明管控。 　　建立企业级数据标准体系和建立数据质量责任矩阵，确保数据从产生到使用的各个环节均有监控、稽核、处理流程和责任人。编码管理流程是企业数据质量管理的核心流程，是提升企业数据标准化支撑能力的起始阶段。 　　3.3 数据生命周期管理。 　　数据生命周期管理是指在数据生产的不同阶段采用相应处理方法，以提升数据存储管理效率