基于AWS和ApacheKylin实现数据分析服务.pptx

基于AWS和ApacheKylin实现数据分析服务技术创新变革未来

创立于2012年提供一站式建站服务实现盈利的时间:两个月服务全球数百万客户月均访问量达到千万级别2016年推出本土服务上线了已为数十万中国用户提供建站服务2017年率先推出微信小程序上线服务领先的微信小程序平台提供商

StrikinglyAnalytics是什么？访问者流(ClickStream)分析 ?服务使用Strikingly/上线了 ?建站的客户和发布微信小程序的客户实现多维分析，为商业智能(BI)?决策提供支撑提供全面的一站式建站服务方便客户查询和访问数据，使得不了解相关技术的人也可以从大数据分析当中获益掌握原始数据，支撑更为灵活细致的商业分析需求为什么？

StrikinglyAnalytics处理超大规模数据运维数据平台的基础设施响应通用类型的查询请求快速支持新增需求(快速迭代)支撑多租户、亚秒级查询挑战功能强大的云服务丰富而全面的开源生态系统成熟的相关技术分析报告和论文从前端到后端各个部门的配合可以利用的资源使用云服务(AWS)和开源工具(Hadoop、Kylin)可以快速实现相关数据分析服务！

AmazonWebServices构一致AWS相关技术文档非常丰富。一般的使用问题都可以使用Google解决第三方工具链比较丰富和完善运维方面Strikingly/上线了自创立起即采?用AWS向全球客户提供服务。在中国区仍使用AWS以保持系统架生态系统繁荣，许多开源大数据工具提供针对AWS相关服务的官方扩展和技术文档AWSJavaSDK功能覆盖完整，使用方便，EMR等服务默认集成各类Jar包，可以直接使用S3，DynamoDB等服务在全球范围内久经考验，值得信赖开发方面

ApacheKylin运维方面基于Hadoop生态环境，方便与EMR配合使用，减轻了维护基础设施的压力节点数据主要储存在HBase等外部储存中，容易实现容器化节点类型简单(Job、Query等)相互耦合较低，数据Rebalance由底层储存实现支持SQL接口，提供多维度上接近Ad-hoc的查询支持在预定义的模型上提供亚秒级、多租户并发查询的服务支持JDBC和RESTfulAPI两种查询模式可以使用RESTfulAPI进行部分数据维护操作开发方面

StrikinglyAnalytics真正的挑战提供真实可靠的数据自动化的故障处理和恢复协调系统架构当中各个组件的运行实现稳定的用户服务和较低的数据传达延迟实现从数据收集到服务用户整条管线的正确运行！

系统架构

系统架构ApplicationLoadBalancer稳定、高可用、可自动扩展自动导出AccessLog到S3导出延迟5-10分钟方便结合ECS服务数据收集ElasticMapReduce简单配置即可自动部署运行完整支持Hadoop生态环境默认集成读写S3、DynamoDB等服务的JavaLibrary自动备份到S3数据处理ElasticContainerService快速部署运行可自动扩展、紧密集成ALBTask级别权限管理，方便控制其他服务的访问数据服务

数据收集

数据收集第三方服务研发成本低数据延迟较大可定制性和灵活性较差昂贵ApplicationLoadBalancer研发成本稍高数据延迟较低可定制性和灵活性高便宜(10x)

数据平台

数据平台自行部署灵活性高配置和运维成本高需要自己安装AWS相关服务的JavaLibraryElasticMap Reduce灵活性略低配置和运维成本低自动集成AWS相关服务Jar包，方便部署自研的ETL过程自动备份到S3

数据处理

数据处理ApacheKylin模型简单易用 ?兼容EMR部署的Hadoop环境 ?接近Ad-hoc的SQL查询多租户、亚秒级数据查询易用的RESTfulAPI接口开源！容器化(降低部署成本)改进运维方式，方便在容器化和云部署的环境下执行运维任务增强的错误隔离和错误处理能力将Kylin嵌入数据处理管线TODO (开源版本)需要方便的工具处理Kylin和各种AWS服务的交互！

任务调度与协调

任务调度与协调激发和监控Job节点完成构建任务，负责通知Query节点集成备份和垃圾清理任务，直接备份数据到S3和操作储存在HBase/HDFS上的数据集成运维任务根据系统状态自动批量规划构建任务确保在分布式环境下各类构建任务的有序激发与运行智能控制任务构建顺