数据湖技术在烟草行业中的应用探讨.pdfVIP

D-高山-数据湖技术

数据湖技术

在烟草行业中的应用探讨

文/鄢达铸刘凯通信作者杨耀景张莨李敏航中国烟草总公司云南省公司

摘要：与过去传统的数据存储库式进行储存，用户可以基于自己的需求得各种数据类型都可以保有统一的存

相比，数据湖在数据收集、数据价值对数据进行展现与获取。同时，数据湖储方式，从而方便用户进行使用，解

的发挥、数据孤岛的消除等方面都有还可以对跨异构数据源进行关联数据分决过去一直所存在的数据集成问题[2]。

着显著的优势，加之有着良好的扩展析，这样在节省成本的过程中还可以极从本质上看，数据湖属于一种新型的

性与敏捷性，因此被越来越多的行业大地提高用户的使用感受，因此具有广数据管理的思路，即通过低成本，对

所重视。烟草行业作为高税负行业，阔的应用前景。为了推进企业数字化转原始数据进行捕捉、提炼与探索，探

如何将数据湖技术应用其中，对于数型，开展储备新技术研究与试点应用，究其长期存储的方法与技术。也正是

据集成能力以及数据治理能力的提升本单位负责研究目标为：“批流一体”如此，数据湖可以实现对不同种类数

起着至关重要的作用，不仅能为营销的数据湖增量处理架构研究据的有效存储，在效率与质量上有了

环节做出更为精准的预测分析，而且显著的提升，实现更为快速、更为廉

对于财务管理也能起到十分积极的影1.互联网平台“数据湖架构”相价的数据处理，将建模应用问题留给

响。本文基于此背景，首先对数据湖关概述最终开发者。总的来说，应用数据湖

相关概念进行了简单介绍；其次对数方案，主要有以下几点优势。

据湖方案的价值以及可行性进行了分在早期互联网发展过程中，各个

析；最后详细阐述了数据湖在烟草行行业的数据类型还比较单一，数据量规2.1规模大、成本低

业中的应用与研究，以供相关工作者模相对较小，因此数据架构也相对比较与数据仓库相比，数据湖能够将

参鉴。简单。而随着互联网的进一步发展，数海量数据进行统一存储，借助开源技

关键词：数据湖；数据仓库；烟据量也逐渐呈现爆发式的增长，使得过术与低成本硬件资源，所耗费的数据

草行业去传统的数据架构难以满足各行业庞大维护成本也更低[3]。

数据量的服务需求。也正是在这种背景

引言下，数据湖的优势得以凸显，首先，凭2.2数据“原汁原味”

借其强大的共享功能，能够有效聚集在应用数据湖方案的过程中，能

数据湖作为一种新型且集中的存储互联网平台间的数据，从而形成聚集优够以最原始的形式将数据进行保存，

库，可以存放任意规模的各种结构化与势；其次，一旦所聚集的商业数据价值在不同生命周期，也仅仅是对数据以

非结构化数据。同时，数据湖还具备改得到了开发，那么互联网平台便可以借及上下文语义进行更改，这样就十分

造和解析历史数据的功能，可以把各种助这一优势实现对市场的控制，进而就方便企业的内部审计工作，在合规性

来源的原始数据添加到一个综合数据库会对各行业原本的竞争秩序与市场机制