烟草商业系统大数据处理架构的研究.pdfVIP

烟草商业系统大数据处理架构研究 邹暾1、侯杰华1 1湖南省烟草专卖局，经济信息中心，湖南省长沙市芙蓉南路一段628号4l0004 【摘要】烟草行业期望通过大数据应用提升企业核心竞争力。本文通过对企业业务与战略 目标的分析，找出烟草商业企业大数据的所在与应用需求，并根据企业大数据类 型与大数据应用的特点，设计出符合企业需求的大数据处理架构，探索未来烟草 大数据中心的建设之路。 【关键词】大数据；Hadoop；NoSQL；MapReduce Thejll打as幻uctIlmn辩砌of tohoco∞mm盯d址sy蜘’sMg凼纽硼硼治咖 ZoU Tunl，HoUJie_-hlml 1 IIl=f0咖撕onCerltreofHun觚T0b∞coBufeau，Changsha410004，Chilla Monopoly Ab湘ct：Toerlllance Via data co陀competi：tiVenessbig applica主ions，Tobacc0Enterpfis鹤锄my硷d bllsinessand outwhere datais柚dwhatdem锄d big is，锄ddesi髓 S仃ate舒90扎f．0岫d ente叩rise’s Ⅱleifl厅astrIJcttlreof data to ofme如turetob乏吣co data big processinge)【plorerⅡledeVel叩ment big Center． K唧rds：BigData；Hadoop：NoSQL；MapReduce 1 引言 “大数据”这一新概念不仅指规模庞大的数据对象，也包含对这些数据对象的处理和应用活 动，是数据对象、技术与应用三者的统一。大数据对象是指由数量巨大、结构复杂、类型众多数 据构成的数据集合，资料量规模巨大到传统软件工具无法及时有效处理，需要新处理模式才能在 合理时间内获得帮助企业经营决策的信息。大数据技术是从各种各样类型的大数据中，快速获得 有价值信息的技术，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。大数据应 用是对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。 烟草商业面临两化进一步深度融合的挑战，为把握这一新兴领域带来的新机遇，需要不断跟 踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，有效提 升企业核心竞争力。 2烟草商业大数据需求分析 2．1烟草商业大数据的来源 性的数据类型和来源、价值密度低而商业价值高)。大数据技术的战略意义不在于掌握庞大的数 据信息，而在于对这些含有意义的数据进行专业化处理，快速获得有价值的信息，并根据处理分 析的结果采取及时的行动。大数据应用与传统数据处理不同之处，不仅仅在于其所需计算能力和 处理技术，更重要是在于其思维模式。简而言之，传统数据分析的中心思想是“管理”，而大数据 应用的中心思想是“服务”。大数据思维将重新定义企业与客户的关系，给企业战略、组织、文化 ·152· 带来深刻的变革。 烟草商业各类应用系统中无时不刻在产生着大量的数据，有些已经被收集处理，有些还没有 被注意，因此，首先要了解企业运营过程中产生了哪些数据，确认哪些数据是企业业务需要的和 反映了企业业务情况的，然后才能制订采集、存储、处理、分析和辅助决策的方案，同时，还要 建立精确快速实时行动的能力。根据上面这些描述，我们可以较为清晰地找出烟草商业系统大数 据之所在。 大数据从类型上讲有结构化数据、半结构化数据和非结构化数据。目前，各烟草企业的数据 中心已将各应用系统中的结构化数据按照企业业务数据模型进行了梳理和汇总，并建立了各类分 析应用，但在半结构化数据和非结构化数据的收集、存储、处理、分析与应用方面均尚处于起步 阶