大数据平台解决方案.pptVIP

大数据平台解决方案2023

1大数据解决方案概述Part

结构化数据采集微服务智能调度任务发布任务调度任务管理任务监控任务关联非结构化数据采集数据安全 权限必管理安全接入 数据加解密回数据分级日志审统一认证 大数据产品架构应用分析处理存储采数据治理数据标准元数据管理数据地图HDFS数据处理数据分析数据迁移2Part其他数据库内存数据库关系型数据库共享开放服务HbaseHive可视化建模人工智能数据采集数据总线模型算法库JDBC/ODBC机器学习数据质量离线采集实时采集集APISDK

随着大数据时代的不断发展,各大企业、政府纷纷建立大数据中心,数据分析、应用的脚步越来越快,在此过程中,异构数据源的使用、关联分析的需求越发旺盛,如何快速、便捷地采集异构数据至大数据平台,成为数据采集汇聚的关键。我司提供的数据汇聚产品主要功能是将各种存储方式的数据源接入到大数据平台或者其他数据仓库。通过提供可视化界面,帮助用户轻松完成采集任务创建、运行,并实时提供任务监控,使用户随时了解自己的采集任务状态。采用主流的流式计算引擎作为产品的主要采集框架,提供离线采集、实时采集两种方式,满足用户不同的采集需求。组件灵活提供多种基础数据源组件，处理组件，目标组件，也可根据用户需求，任意拼装该些组件部署，更可为用户提供定制化组件的开发实时监控工具提供实时监控功能，用户可随时查看采集任务状态，及时干预，避免数据漏采，少采快捷易用全流程可视化操作，拖拽式编辑工作流，配置采集信息，采集任务轻松灵活完成服务完善专业的技术团队随时为用户提供技术支持工作，提供7*24小时专业服务保障 数据采集产品——定位及特色2Par品特色产品定位

数据存储数据采集数据源口数据源类型:?数据采集汇聚支持多种类型数据源的采集，如下表:口采集框架:?通过Kakfa消息队列、Storm流式处理以及Spark-Streaming实时计算方式，实现实时数据采集；?通过Flume实现批量数据采集；口数据存储:?提供主流关系型数据库以及HDFS分布式多冗余存储，支持动态扩缩容口可视化:可视化数据采集产品——技术架构实时计Spark-Streaming实时计算关系型数据库2Part任务监控MySQLSQLServer关系型数据库OracleNosql数据库其他消息队列协议类SFTP本地文件文本类FTPStorm流式处理自定义工作流关系型数据库任务调度资源监控FlumeKafkaFlumeFlumeFTP/SFTP本地文件……Kafka……HDFSNosql……HDFSHTTP

?FTP?本地文件?HDFS?kafkaV8?关系型数据库(oracle、mysql、sqlserver、南大通用、武汉达梦等)?hbase目标组件?FTP?本地文件?HDFS?kafka?关系型数据库(oracle、mysql、sqlserver、南大通用、武汉达梦等)?Hbase?Hive?Flume?Storm?Spark?Flink数据采集产品——使用场景2Part处理组件数据源?ES

组件之间关联好后，对各类组件进行信息配置，例如:处理组件进行添加节点，配置节点信息组件之间关联好后，对各类组件进行信息配置，例如:处理组件进行添加节点，配置节点信息组件之间关联好后，对各类组件进行信息配置，例如:处理组件进行添加节点，配置节点信息STEP1.选择组件平台提供数据源组件,处理组件,终端组件选择,用户可通过拖拽将需要的组件拖入工作流画布中连线后完成工作流数据采集产品——配置化采集STEP2.配置信息STEP3.执行工作流STEP4.查看工作2Part流

结构化数据采集微服务智能调度任务发布任务调度任务管理任务监控任务关联非结构化数据采集数据安全 权限必管理安全接入 数据加解密回数据分级日志审统一认证 大数据产品架构应用分析处理存储采数据治理