CC2016演讲_星环科技.pptx

Transwarp StreamSQL: A SQL/PLSQL Stream engine on Spark 公司介绍 2016/5/16 www.transwarp.io 3 Gartner魔力象限 2016/5/16 www.transwarp.io 4 Transwarp Data Hub架构图 最完整的SQL支持 Transwarp Manager 99%的SQL 2003支持，唯一支持PL/SQL的引擎（98%）， 唯一支持ACID分布式事务的SQL引擎；定位数据仓库和 数据集市市场，可用于补充戒替代Oracle、DB2等分析用 数据库。 Inceptor Discover Hyperbase Stream 高效内存/SSD计算 第一个支持SSD的基于Hadoop的高效计算引擎，可比硬 盘快一个数量级；可用于建立各种数据集市，对接多种主 流报表工具。 PL/SQL批处理 交互式分析 数据挖掘 机器学习 NoSQL数据库 搜索、图计算 流处理 引擎 Guardian 最完整的分布式机器学习算法库 支持最全（超过50余种）的分布式统计算法和机器学习算 法，同时整合超过5000个R语言算法包。适合金融业风险 控制、反欺诈、文本分析、精准营销等应用。 资源管理 YARN 批处理 批处理框架 工作流 交互分析 交互工具 安全管控 (内置Transwarp Extension) Pig MapReduce2 Oozie Zeppelin HUE 实 时 数 支持最完整SQL和索引的NoSQL数据库 支持SQL2003、索引、全文索引，支持图数据库和图算 法，支持非结构化数据存储 据 同 优化存储 HDFS (内置Transwarp Erasure Code) 全文搜索 Elastic Search 协作服务 Zookeeper 数据集成 Sqoop 日志采集 Flume 消息队列 步 Kafka 支持高并发查询 Apache Projects 最健壮和功能丰富的流处理框架 支持所有组件的高可用(HA) Transwarp Proprietary 支持流式SQL和流式机器学习 2016/5/16 www.transwarp.io 5 为什么使用流处理 • 从批处理转向流处理逐渐成为一种趋势 • 对于大多数批处理应用，可以完全转化为流处理逐步处理完： – 投行在每天交易结束时都需要计算整个公司的资产价值和可能存在的风 险 • 实时监控系统运作，及时发现异常： – 风电行业需要实时监控风电运行状况，及时给出告警信息 • 彻底改变业务模式，提升业务价值： – 交通行业实现“秒”抓套牌车 2016/5/16 www.transwarp.io 6 为什么采用SQL • 星环2013年开始使用Spark，2014年初开始在客户现场部署Spark Streaming，至今已经有几十家流处理的客户 • 入门门槛极其高，有经验的程序员未必能胜仸 • 迁移成本较高，原有业务基于SQL/PLSQL • 产品化程度差，需要有Spark和Hadoop经验的与家进行运维 2016/5/16 www.transwarp.io 7 典型的流数据处理流程 Transwarp Stream Kafka Cluster job_version_n input_topic Hyperbase job_version_n+1 Inceptor SQL Queries output_table_n Holodesk output_table_n+1 ColumnStore job_periodic_extract raw_data_table 2016/5/16 www.transwarp.io 8 Stream+SQL+ML对实时数据进行监测 data mining on streams batch @ t batch @ t+1 ATM现场交易 POS刷卡 手机银行交易 1. EMS实时消息 订阅 2. 交易所实时风 险研判 3. 券商实时交易 行情监测 100k records/s/node 1KB/record SQL aggregation 智能风机 光伏发电 machine learning using java/scala/R 分布式 队列 4. … ... 股票交易 行情数据 报警 炼化厂 客服 transwarp stream www.transwarp.io 2016/5/16 9 为什么采用SQL • 常见用户反馈： • “你们的streaming程序怎么又丢数啦！” – 用户丌会用BlockingQueue • “怎么没有结果啊？” – 各种原因，茫茫代码海一行日志都没有… • “你帮我看看我这条SQL写成streaming代码怎么写呢？” – 最