原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
云+大数据平台
应用方案
数据规模大企业数据数据规模大部在TB级别以上，像银行电信等行业数据量都在PB以上，而且每年都是以40%以上的速度增长数据类型多除了以文本为主的结构化数据、以网页数据为代表的半结构数据，也存在大量网络日志、音频、视频、图片、地理位置信息等非结构化数据数据流转快要在秒级时间范围内给出分析结果，超出这个时间，数据就失去价值了价值密度低海量数据中，如何通过强大的机器算法，更迅速有效地完成数据的价值“提纯”4V效率成本价值大数据特征
物联设备应用系统外部数据资源成本计算处理技术成本分析技术核心技术运维成本存储管理存储计算网络数据应用系统或者物联设备以及第三产生大量的数据ETL通过ETL把各种类型的数据处理成高密度有价值的数据数据仓库转换完成的数据进入数据仓库为下一步挖掘做准备数据分析数据分析任务可以在数据仓库中提取想要的数据数据挖掘深度挖掘通过机器学习和AI深度挖掘数据价值决策者根据数据分析结果和挖掘结果决策者做出决策数据面板个角色通过数据面板获取想要的数据成本技术成本硬件成本运维成本效率企业大数据应用现状
HDFSYARNMESOSMapReduceSparkStormFlinkFlinkHbasehivekylinZeppelinprestoazkabanoozieairflowphoenixsuperset机器学习数据挖掘机器学习数据挖掘kafkaES存储资源分配计算框架接入交互ETL调度数据应用选型是否合理组件整合服务管理交付效率运维能力服务考验成本考验存储成本计算成本网络成本数据安全成本系统安全成本大数据解决方案现状
社区自建服务选型组件整合部分部分服务管理部分部分交付效率中中低运维能力中中差数据安全技术支持服务整合计算成本高高高存储成本高高高网络成本高高高需要什么样的平台价值最大化、聚焦业务成本最小化大数据平台服务能力数据安全组件整合运维能力交付效率资源弹性存储成本计算成本技术成本服务整合大数据解决方案现状
云存储云数据库对象存储KV存储文档数据库托管Hadoop计算服务离线处理流式计算实时数据库ETL企业应用服务企业服务云消息服务ckafka人工智能深度应用机器学习数据可视化智能BI可视交互平台服务化计算存储分离服务深度整合快速交付资源弹性海量计算资源保证专业技术支持低运维和开发成本云服务弹性效率海量虚拟网络安全高效云服务….云环境下的大数据基础平台
云专有服务器emragentemr镜像黑石物理服务器emragentemr镜像基础设施层云服务器emragentemr镜像安全代理层集群管理EMR服务控制面板扩缩容 弹性规则配置管理 服务管理查看监控EMR服务API接入层集群创建 集群管理扩缩容 配置管理监控中心监控汇总监控分析流程驱动中心业务驱动模型解析任务调度流程管理EMR公有服务层集群创建 集群扩容集群缩容配置生成配置下发拓扑管理集群监控集群销毁资源管理api接入层组件管理安全策略HDFShiveyarnsparkhue…安全校验组件webui服务状态上报节点状态上报运维指令业务指令业务调用业务调用api调用api调用启动流程流程回调监控数据 弹性分析 使用腾讯云公有云大数据平台实践(EMR)
定义业务流程集群创建集群扩容集群缩容配置生成配置下发业务流程…Activity流程引擎任务调度流程引擎Job管理业务回调资源管理配置管理业务模块组件管理业务…部署流程回调业务业务发起流程流程设计器设计业务流程流程管理系统管理流程流程监控流程告警流程mock通过流程重用业务功能流程热加载自动重试步骤跳过自定义配置简化业务开发业务过程可视业务实现原子功能代码高度解耦代码高度复用代码维护简单代码结构高度可扩展控制逻辑和业务分离服务流程化
套件集合服务A服务B服务C组件集合hadoophivehbase服务…….服务组hdfsyarnspark….服务节点datanodermnm….套件集合套件是软件配置的集合，套件内的软件之间的版本兼容性在集成前都做过处理组件集合组件集合里是一个一个的单个软件，由软件和软件版本组成，比如hadoop-2.7.3服务组服务组是一个软件提供的功能集合，比如hadoop提供了HDFS,YARN,那么HDFS是一个服务组服务节点一个服务组要想提供服务，必须由多种进程提供服务，服务节点可以理解为一种进程服务模型
服务拓扑定义服务进程元数据主节点core节点协作节点计算节点namenodedatanodehamster进程n服务进程进程1进程2进程n服务元数据生成配置生成资源分配服务安装配置下发服务启动监控启动服务生命周期进程节点ndatanodenamenode进程节
文档评论（0）