互联网电商实时大数据分析实践.pdf

互联网电商实时大数据分析最佳实践 技术创新，变革未来 场景描述 电商网站购物数据通过实时大数据分析后在大屏幕上展示，如购买人群热销商品排名、购买人群区域分布、购买 人群年龄分布等。大屏上全国上亿买家的订单数据可视化动态展示，效果震撼；触控大屏支持用户自助查询数 据，极大增强数据的可读性。 适用场景  电商大屏、营销大屏  内容大屏、直播大屏  教育大屏、金融大屏 行业标签 ：互联网、新零售、金融、通用 产品标签：实时计算、RDS、ECS、DataHub、DTS、DataV、VPC、EIP等 实现架构 架构说明：  用户订单数据实时同步到Datahub。  通过实时计算实时处理来自Datahub 的数据，对数据进行实时ETL处理。  处理完结果数据写入RDS。  需要展示的结果数据通过DataV在大 屏上实时展示。 实时计算产品介绍 实时计算 （Alibaba Cloud Realtime Compute ，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处 理流程和行业解决方案；支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简化 BI 场景下的开 发；可与用户已使用的大数据组件无缝对接，更多增值特性助力企业实时化转型。 最新一代实时大数据引擎 Top 5 ⽤户邮件列表 ： Blink引擎 Flink的企业版 1.Flink (⽤户最活跃项⽬) • 开源Flink内核技术，完美兼容社区API • Autoconfig/Autoscale ，更加高效利用资源 2.Lucene 关键部分性能提高10倍 3.Ignite 第一代 第二代 第三代 4.Cassandra Streaming Mini Batch Stateful Streaming 5.Kafka 2018年度报告 产品对比 低延迟 exactly-once 大规模 复杂计算 批流统一 Spark NO Kafka Stream No No No Storm No No Blin