基于spark的统一数据管理和数据挖掘平台.pptx

基于spark的统一数据管理和数据挖掘平台.pptx

基于spark的统一数据管理和数据挖掘平台;数据应用的5个发展阶段;典型的企业数据应用模式;现有解决方案;用户视角;2、INFINIDATA平台;INFINIDATA平台;一体化的数据管理 ? 特性 ? 全量数据和表结构Schema自动导入 ? 增删改等增量数据的智能同步 ? 同时支持原始表和衍生表 ? 支持对表数据和表结构Schema的变化轨迹溯源 ? 自主选择存储引擎和分区分桶优化 ? 数据变化自动触发相关的计算任务;易用强大的计算流程管理 ? 特性 ? 借鉴关系代数思想,计算流程等价于表的函数变换 ? 计算流程统一???理,计算任务历史可追踪 ? 计算逻辑和中间结果可共享 ? 自动分析计算任务的依赖关系图进行全局调度优化 支持PLSQL存储过程和非SQL(Scala或Python)的复杂 计算任务;标准高效的数据查询服务 ? 特性 ? 提供标准的JDBC访问接口,对常用的Cognos等报表服 务提供driver ? 提供MDX语言的建模和OLAP分析引擎服务 ? 提供标准Es接口提供数据检索服务 ? 动态分层功能,将访问最频繁的数据保存在内存中, 同时将很少访问的数据移至磁盘 ? 开源组件优化集成 ? 修改hive2.3、spark2.1等相关组件的bug和源代码约80 处;3、INFINIDATA可视化探索;可视化探索DI;可视化探索功能;行相关分析;列相关分析;值相关分析

文档评论(0)

1亿VIP精品文档

相关文档