大数据分析平台ethink及介绍.ppt

ETHINK大数据分析平台 帮助客户实现数据驱动 大型数据存储计算平台 开放、融合、跨平台、全过程按需组装 ETHINK 产品定位 大数据分析平台 支撑多种数据源接入，可与RDBMS、JAVAAPI，工业OPC等接入，可制成企业级大数据存储架构 在原有大数据数据仓库HIVE和列式数据库HBASE的基础上，自主研发实时、离线大数据存储 同一企业、行业、领域和产业链内进行迁移、共享、灵活扩展，大大降低应用成本 满足分析应用实时性要求，提升企业管理和业务分析决策的敏捷反应能力，提高企业运营效率 支撑大数据实时处理与分析,充分满足企业科学和快速精准决策对于 信息的时效性和完整性要求 作为平台级产品方案，可有效规避项目级方案应用交付和运维模式高成本的风险和问题 3大核心功能模块 存储与计算 大数据可视化 数据挖掘 开放式API和协议 实时监控信息 实时历史信息 历史分析信息 历史存储信息 MPP 分析计算集群 NO-SQL搜索 数据存储 数据获取 数据组织 数据分析 数据应用 实时数据流处理服务器 联合访问 大数据平台 产品创新 故障诊断 均质生产 能源测算 实时监控 问题评价 透明感知 企业级报告工具 Ad hoc 即时查询 例外分析 实时数据分析 预测与挖掘 数据集群处理 ETL处理服务器 RDBMS Hive Hbase 社交媒体 RSS WEB 日志 Java Opc 数据抽取 数据清洗 数据浓缩 数据聚合 数据分析 数据挖掘 hadoop spark 大数据分析应用平台架构 内嵌一站式数据存储平台 核心的一站式数据存储平台，存储能支撑HADOOP,SPARK，HBASE，IMPALA 等大数据平台。通过内存计算技术、高效索引、执行计划优化和高度容错的技术，使得 一个平台能够处理从GB到PB的数据，并且在每个数量级上，都能比现有技术提供更快的 性能； 可以连接多种大数据存储平台 广泛支持连接各种大数据存储平台，例如：HDFS、HBase、Hive，spark， impala， S4， membase、MongoDb，EMC GreenPlum 等。 ETHINK数据挖掘优势 ETHINK大数据挖掘支持WEB在线可视化开发。整个挖掘流程，从数据集成、数据规范，到模型训练、模型评估、模型部署，都可以在线配置，每步运行都可以在控制台上监控信息，控制灵活，具有高度的动态性。 ETHINK大数据挖掘采用弹性分布式的数据集，允许在大型集群上执行基于内存的计算。 将数据保存在内存中能够极大地提高性能，我们实现的迭代计算方面比Hadoop快二十多倍 高性能弹性计算 可视化开发 使用ETHINK大数据挖掘，您可以从几乎所有的主流数据库中提取数据，包括关系型数据库如SQL Server、Oracle、DB2、Informix、My SQL、Teradata、PostgreSQL 等；大数据数据库如Hadoop、Hbase 、MongoDB、Cassandra、Imala等。 您也可以非常轻易地导入文档型数据,包括CSV、XML、JSON等。 丰富的数据源 ETHINK大数据挖掘操作简单，让你瞬间成为公司顶级大数据分析专家、数据挖掘专家。 无论是复杂的统计分析，还是高深的挖掘算法，通过界面化配置，轻松完成分析工作。 平台简易性 ETHINK数据挖掘产品 数据挖掘过程中数据的质量、数量等各种问题使得该过程平均有75%以上的时间花费 在数据预处理阶段， ETHINK大数据挖掘平台提供多种数据处理节点， 分析人员可以通过拖拉的方式实现数据的预处理，而不需要精通数据库语言。 数据预处理与分析 ETHINK大数据挖掘集成了R语言算法，支持分布检验、均值向量与协方差阵的假设检验、 方差分析、回归分析、判别分析、聚类分析、多因子分析、线性规划与整数规划、动态规划、 不确定型决策和风险型决策等方面的内容。 强大的统计分析 ETHINK大数据挖掘支持所有主流的数据挖掘/知识发现算法，如关联规则、决策树、 神经网络、支持向量机、 KMeans、关联规则等。支持所有主流的数据挖掘/知识发现算法， 如关联规则、决策树、神经网络、支持向量机、KMeans、关联规则等。 丰富的挖掘算法 ETHINK大数据挖掘平台提供了多种图形化技术，帮助理解数据间的关键性联系，并指导以最便捷的途径找到问题的最终解决办法。ETHINK大数据挖 掘平台融合了3D、图形和动画等多种可视化技术来处理多维数据，使得数据所表现出的特征、模式和关联性等信息一目了然，可以生成散点图、分布图、直方图、堆积图、多重散点图、网络图等。 图形可视化 ETHINK技术优势 大数据处理 特点 开放型平台 将模型结果写入共享库 将建模结果与其它人共享 BS结构，一站式建模、评估、部署 基于象形内存运算平台 内存