大数据应用案例-如何搭建大数据平台技术架构.docxVIP

大数据应用案例-如何搭建大数据平台技术架构？本文章来自于阿里云云栖社区如何搭建大数据平台技术架构？有没有好的大数据平台架构案例？本文以掌慧纵盈为案例，阐述了物联网企业的业务架构和数据架构，以及技术选型的思考过程。如何搭建大数据平台技术架构？有没有好的大数据平台架构案例？本文以掌慧纵盈为案例，阐述了物联网企业的业务架构和数据架构，以及技术选型的思考过程。借助“互联网+大数据+机场”三轮驱动，掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。随着业务的拓展，随之后来的挑战是数据量的暴增。 2016年，掌慧纵盈通过阿里云产品，率先构建了业界领先的大数据平台。以下来自掌慧纵盈的大数据平台架构师的分享：业务架构掌慧纵盈的业务架构如图所示。我们的业务模式主要就是通过自有设备对数据进行收集，对数据的价值进行挖掘，最后对这些数据应用。数据收集层，我们创立了国内机场官方Wi-Fi第一品牌“Airport-Free-WiFi”，网络遍布全国25个枢纽机场和39个枢纽高铁站，每年为6.4亿人次出行提供无线网络连接服务；我们拥有全国最大的驾校Wi-Fi网络，到17年底将覆盖1500+所驾校；我们也是中国四大车展（北京、上海、广州、成都）Wi-Fi服务商，为超过120万人次提供了网络服务；此外，我们还运营了全国2000+个加油站和600+个汽车4S经销店的Wi-Fi网络。数据应用层，我们打通了线上和线下行为数据，用于用户画像，为包括SSP，DSP，DMP，RTB在内的广告业务提供更高效的精准触达；并和公安部合作，排查公共网络安全威胁。掌慧纵盈的大数据平台和广告投放平台还为企业输出技术能力，帮助企业建立自己的大数据平台，用丰富的量化数据提升企业的运营管理效率。数据架构基于我们的业务架构，我们抽象除了我们的数据架构，其中包含了许多主题，其主题视图如图所示。图中本体可以简单的理解为人，客体可以简单的理解为物；本体与客体以各种形式进行连接，这种连接是一种时间维度和空间维度上的交汇，这种连接通过计算机网络和电信网络完成。本体在连接网络中有自己的像，可以简单的理解为虚拟身份（Avatars）；客体在连接网络中也有自己的像，例如维基百科对某一事物的描述，再比如某一事物商业化后形成产品或服务，再经过广告包装成其广告形象，这些都是其客像。本体与客体的交互实际上就是本像和客像的交互，这种交互在时间和空间的维度上都会留下轨迹。本体的个体特征和群体特征，客体的个体特征和群体特征，本客交互的所有轨迹，所有这些主题形成的大数据，经过深度挖掘和学习，可以得出强大的洞察力，这种洞察力具有不可估量的商业价值。掌慧纵盈目前在本体域和交互域的数据体量：技术选型接下来说一下我们技术选型的思路。我认为，没有最好的技术架构，只有最合适的架构。成功的IT规划就是从业务架构出发，针对其每一个业务场景，给出最合适的技术架构。功能需求首先来看我们的功能需求。以我们的广告业务为例，目标是日消息处理量达到100亿条。其对大数据能力的要求如下：假设记录大小是2KB，容纳这些数据我们需要70PB的物理容量。对查询范围的要求，推导出，离线计算的处理时长24小时，在线计算10分钟。非功能需求希望通过云平台将基础设施安装运维外包。大数据技术日新月异，希组件版本能够及时更新。外部商业环境迅速变化，希望计算资源可以动态增减，以节约成本。希望以较低的成本获取相对专业的安全服务。尽量使用开源组件，方便整体输出。产品选择综合考察国内的云服务提供商，我们选择了阿里云，尤其是其E-MapReduce产品，购买之后，集群马上就创建好了，Hive, Spark, HBase等开源大数据组件即刻可用。首先我们选择数据存储引擎。我们以存储25TB的数据为基准，考察各个选项的性能和价格。从图中可以看出，针对离线分析来说，如果想用开源组件，可以考虑Hive on OSS的模式，来存储近一年的数据。针对在线分析的场景，使用HBase存储近三个月的数据，可以获得很高的性价比，这个方案可以多表联查，但是SQL的响应对场景敏感，不同复杂度的SQL响应时间是不一样的。如果希望响应时间恒定，可以考虑基于索引的方案，即日志服务，缺点就是不能多表联查；如果想使用开源组件，可以自行在ECS上搭建ELK。接下来我们选择查询引擎。我们使用一个基准SQL，方便对其响应时间进行横向对比，基准SQL如下图所示：结论是，使用Phoenix基于HBase进行交互式查询，可以获得很满意的响应周期。选型部分告一段，接下来给出大数据平台的技术架构。技术架构大数据平台的技术架构概览如图所示，图中几乎所有的服务和功能都是通过阿里云产品来实现的，其中开发测试环境也是基于阿里云的ECS搭建的。从图中可以看出，我们并不需要关心机房的电源、网络、虚拟化、硬盘更换等一系列基础设施问题，直接基