ETHINK大数据解决方案PPT.ppt

大数据平台及解决方案 目录 ETHINK产品 1 行业应用 3 解决方案 2 产业化目标 4 大数据领域分类树 ETHINK的目标是在分析和加速计算领域做到国内 第1 或 第2的位置 快速整合和管理各类大数据，对信息进行高级分析。 可视化所有数据，对数据进行统计、挖掘、关联分析。 为构建报表、仪表板、图文报告、可视化分析、钻取分析、数据挖掘等应用提供了整套基于html5的设计开发环境 ETHINK大数据平台 应用栈 云BI平台访问 目录 解决方案 2 行业应用 3 ETHINK产品 1 产业化目标 4 方案一：交互式SQL统计与数据挖掘 关系表 关系表 关系表 交互界面 SQL接口 JDBC/ODBC ETHINK 并行算法库 ETHINK 内存分析库 （Index,filters） Hadoop HDFS sqoop cache Checkpoint 数据挖掘 内存分析引擎适合提供高速在线分析服务，如按数据维度进行统计、聚合，根据历史数据进行拟合和预测以及计算数据之间的相关性和模式等 方案二：实时在线处理 关系 数据库 警告 已有应用 服务器 应用 Ethink 查询分析引擎 HBase 实时入库 事件 记录 影像 HTTP/REST 接口 接口 接口 搜索、统计、分析、图推理 简单查询扫描 交易记录、实时事件、电话清单等7×24不间断数据 数据来源多、高并发以及生成速度快，并且要在数据流动的过程中进行分析和计算。 方案三：实时流处理 ETHINK流引擎 在线模型训练 时间窗口统计 Stream Driver 流驱动器 转换、清洗 实时查询 Stream Applications Stream QL 统计 Stream ML 机器学习 实时查询 异常阀值对比报警 传感器网络 传感器日志 传感器日志 消息队列 Map/Reduce Hadoop HDFS 传感器日志 /2013101/… … 流式计算系统是针对其处理的数据是从前端或者其他数据源持续不断地输入的，应用的处理逻辑由这些源源不断的数据流驱动，持续对输入的数据进行计算。 方案四：离线分析与挖掘 支持SQL统计，在数据量达到100TB规模时，是数据仓库的唯一解决方案 Transwarp Manager 安装、部署、管理、监控和告警 HiveQL-SQL翻译器 JDBC CLI ODBC R 统计语言 Web 并行化R Ethink Manager 安装、部署、管理、监控和告警 MAPREDUCE2 YARN 资源管理框架 HDFS2-分布式文件系统 Erasure Code-纠错编码 C/C++ Java ROB Text Image Binary File Logs Sqoop ETL工具 Flume 日志采集 多维统计预测，准实时分析以及对客户进行聚类、分类等数据挖掘应用. 使用搜索引擎时，搜索同样的关键词时却让不同的用户看到不同的广告；在电子商务网站购物时，每次浏览同样的商品时，让用户得到不同的商品推荐。 目录 行业应用 3 ETHINK产品 1 解决方案 2 产业化目标 4 农业审计 企业审计 社保审计 固定资产审计 保险审计 外资运用 跨行业、跨区域数据中心 税收 审计 海关审计 财政审计 金融审计 银行 证券 专项审计 经济责任审计 税收、海关、财政、金融、银行、证券、经济责任、保险、企业、社保、固定资产、农业、外资运用、专项审计13大行业数据源 Hadoop大数据集群，大数据分布式内存计算 大数据环境下知识学习引擎、推理引擎，数据挖掘与机器学习 跨行业、跨区域的审计大数据数字化综合分析中心，指挥中心 国家金审工程需求 数字化审计分析平台 审计数据中心平台 电信行业应用 门户层 数据源 BSS OSS MSS 业务平台 网站访问 日志 论坛 .. DSG ETL_STEP DataX Nutch ETL层 服务管理 数据服务层 自助取数平台 数据应用层 智能分析平台 模型管理 程序管理 维度管理 指标管理 需求管理 元数理管理 服务接入 服务访问 运行控制 消息路由控制 参与人 产品 事件 … ED M 销 售 品 客户 竞争 … 宽表层 收入 业务量 竞争 … 基础 指标 流量 3G 宽带 … 业务指标 EDA基础平台(oracle) 详单 GP计算平台 结算 基站位置 客户特征 … 家庭网关 hadoop计算平台 手机上网 论坛 微博 … 业务 监控 业务 网管 智能调度 业务 配置 分析评估 每日关注 客户洞察平台 精确营销 渠道 全 资源 … 应用 集市 数据存储处理云化 使用GP对海量结构数据进行计算 使用hadoop对非结构化数据整合、计算、查询 数据管理标准化 数据管理标准化