从“被虐”到“落地”——明略大数据产品演进实践.pptVIP

从“被虐”到“落地”——明略大数据产品演进实践 明略数据 刘诚忠 2015.4 目录 WHY 大数据落地被虐实例 如何应对 案例分享 我们是谁 成立仅一年，66人 大数据平台，挖掘平台，数据工厂 国美，苏宁，北京台，银联，地税，邮储银行… 提供全行业的大数据整体解决方案，重点覆盖政府、金融、通信和零售四大支柱产业 北京明略软件系统有限公司 理想和现实 期望到达 大数据的核心价值在于：挖掘隐藏在大数据背后的知识 目录 WHY 大数据落地被虐实例 如何应对 案例分享 信心爆棚的进击 Hadoop HBase Spark Storm Impala ML 很快感受到森森的恶意 丰富的数据源 权力的游戏 性能 更要命的问题——大数据？？ 问题定义 整合 多源，异构，实时 保护 权限，集群，统一 分析 模型，效率，定制 交互 可视化，实时响应 目录 WHY 大数据落地被虐实例 如何应对 案例分享 明略总体思路 核心产品组件 大数据集群 INCR 让传统应用系统的数据实时整合进数据平台 LogM 日志实时采集、处理和整合 Acre Cell级别的数据访问权限管理 NoahArk 集中管理，监控和运维您的系统 Data One SQL One 全链路数据整合、存储管理、查询计算、处理分析的大数据作业平台 Data Insight 全界面操作的快速建模和数据挖掘工具 CharmiBoard 自由定制的跨平台数据可视化工具 数据整合 数据安全 系统安全 数据分析挖掘 明略Data ONE Data One Interface 帮助企业实现数据治理的一站式大数据工作台 抽象设计，帮助业务方关注需求任务，不纠结底层技术 异构数据源混合查询的SQL引擎（专利申请中），可JOIN传统数据库，NoSQL，Hadoop数据 用户界面 Data One Core Services APIs MiningLamp SQL One 数据作业 数据管理 数据整合 数据管理 管理平台中所有文件、结构化和非结构化数据 数据整合 依据分析场景，通过人机交互将异构的数据打通整合 数据作业 实现不同复杂程度的数据处理和分析 人机交互 全界面操作，提供大量数据作业模板 SQL接口 Query Optimizer 多引擎适配 多数据源适配 Data ONE系统架构 明略Acre 支持Hive，Impala，MySQL多数据接口的统一授权管理（专利申请中） 精确到cell级别的ACL/RBAC混合权限管理，超过市场同类产品（Cloudera列权限功能开发中） Acre——系统架构 明略Data Insight 带有调参反馈机制的可视化数据挖掘平台，为企业数据科学家打造的建模利器 Decision Tree Logistic Regression Support Vector Machine Multinomial Naive Bayes Regression Tree Linear Regression Lasso Regression Ridge Regression K-Means … DI——系统架构 DI——DSL支持 DataInsight自定义了简单的脚本语言，用来处理一些较为复杂的数据变换 目前DSL支持以下功能，基本满足常见的数据转换需求。 数据过滤 GroupBy 常用数学函数 类型转换函数 字符串操作 Map操作 统计函数 DI——算法列表 分类算法 聚类算法 回归算法 推荐算法 SVM Logistic Regression Native Bayes Decision Tree Random Forest K-means DBScan Lasso Regression Ridge Regression Linear Regression Gradient Boosted Regression Regression Tree Item based CF User based CF Alternating Least Squares 特征变换 自然语言处理 频繁模式 数理统计 PCA LDA Word2Vec FPGrowth BIDE Correlation Analysis Distribution Statistics 基于Spark的并行化算法 新一代BI OLAP CUBE？ 新一代BI 一站式的意义——DATA GRAVITY 要考虑到复杂分析可能——OLMP 分布式的痛永远在单点——最大限度去中心化 新一代BI DATASTAX Stratio http://velvia.github.io/presentations/cassandra-spark-olap-2014/index.html#/25/2 新一代BI