基于大数据卷烟工业企业数据仓库建设.docVIP

基于大数据卷烟工业企业数据仓库建设 　　摘 要信息技术的快速发展不但极大的提高了卷烟生产企业的效率，而且积累了大量的结构化数据和非结构化数据，如何让这些数据发挥应用的价值，是构建智能卷烟工厂面临的一个问题，本文着重探讨了如何去利用这些数据，为卷烟工业企业的科学决策提供支撑。 　　【关键词】数据仓库 智能工厂 Hadoop 　　随着信息技术快速发展，各项应用系统不断应用在卷烟工业企业的各个领域。信息技术的运用，提高了卷??企业的工作效率，但是也带来了问题，各个应用系统之间部署平台不一致、采用的数据库不一样等都造成了信息孤岛的存在，使数据可应用性差。同时，随着生产、管理、物流等数据的日积月累，以及Internet带来的大量Web数据，如何对这些数据进行处理分析，是企业面临的难点。企业想要充分对数据进行挖掘，让其发挥价值，就必须解决以下两个问题： 　　（1）解决信息孤岛的问题，让跨平台跨数据库的数据集成在一起，为特定主题分析提供支撑； 　　（2）解决如何分析Internet带来的非结构化数据，以及如何处理大规模数据的问题； 　　1 现有技术介绍 　　当今解决企业数据分析采用的传统技术有数据仓库，针对大数据的解决方案常见的有Hadoop，本节主要介绍数据仓库技术和Hadoop技术。 　　1.1 数据仓库介绍 　　“数据仓库”概念最早由Bill.Inmom在1991年提出，其定义为“一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策”。 　　数据仓库的建立目的不是取代数据库，而是在一个较全面和完善的信息应用的基础上用于支持高层决策分析。从定义中可以看出数据仓库有以下四个特点： 　　（1）数据仓库是面向主题的；操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。 　　（2）数据仓库是集成的，数据仓库的数据有来自于分析的操作型数据，将所需数据从原来的数据中抽取出来，统一与综合之后才能进入数据仓库。 　　（3）数据仓库的数据相对稳定，它反映从原有分散的数据源中抽取出来，进入数据仓库之前的数据要经过加工与集成、统一和综合。 　　（4）数据仓库是随着时间而变化的，传统关系型数据库系统比较适合处理格式化数据，能够较好满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。 　　1.2 Hadoop介绍 　　Hadoop是由Apache基金会所开发的分布式基础架构，是一个开发和运行处理大规模数据的软件平台，可以实现大量计算机组成的集群对海量数据进行分布式计算。Hadoop框架中最核心的设计：HDFS和Mapreduce。 　　1.2.1 HDFS 　　HDFS（Hadoop Distributed File System）是Hadoop分布式文件系统，是一个具有高度容错性的系统，适合部署在廉价机器上，能提供给具有高吞吐量的数据访问，非常适合大规模数据集上的应用。 　　1.2.2 MapReduce 　　MapReduce是一种编程模型，用于大规模数据集的并行计算，其主要思想包括Map（映射）和Reduce（归约）。其用途非常广泛，包括文档聚类、机器学习、基于统计的奇迹翻译、Web日志分析等等。提供的主要功能包括数据划分和计算任务调度；数据/代码互定位；系统优化；出错检测和恢复等。 　　2 大数据下卷烟工业企业数据仓库解决方法 　　随着卷烟企业信息化程度的不断提高，各项应用系统的数量随之增加，带来的是大量的数据，而这些数据存储在不同的平台，不同的数据库中，如何解决大量数据的分析能力，为决策提供支撑，是今后卷烟企业所要面临和亟待解决的问题。 　　（1）针对传统数据，利用数据仓库的方法来解决数据孤立的问题，通过数据抽取、转化的方式来构建数据仓库，具体解决模型见图1。 　　（2）针对含有非结构化的主题解决模型，充分理由Hadoop的优势，来解决大数据、非结构化数据带来的问题，如从Internet上爬虫的Web数据，全国各地的营销数据等，其重要思路是利用HDFS来存储大批量数据及结果化数据，利用MapReduce来进行数据分析任务的计算，为企业决策提供支撑，如图2所示。 　　3 结语 　　智能化工厂是烟草工业企业十三五的目标，而要实现目标就要充分的让数据发挥其价值。本文针对现有卷烟工业企业在利用数据上存在的问题，即信息孤岛以及如何处理大数据，进行了简要分析，并提出了解决思路。 　　参考文献 　　[1]W.H.Inmon.Building the data warehouse[M].Wiley Publishing，2005. 　　[2]崔杰.李陶深.兰红星.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展，201