橘云大数据42学习课件.pptxVIP

新产品研发中心橘云平台产品线

亚信联创科技(中国)有限公司

2013年4月;提纲;概念;“大数据”时代已经来临;移动运营商的云计算需求;随着智能手机的快速普及以及移动互联网业务的迅猛发展，各种网络信令、互联网、流量数据信息等数据源竞相引入，对经营分析数据处理及存储要求不断增加，传统的BI数据处理架构在日益增长的计算、存储、可靠性要求以及系统扩容成本等方面均面临着严峻的考验：;结构化和非结构化数据;1、分布式系统（distributedsystem）是建立在网络之上的软件系统；

2、分布式数据库：分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都有DBMS的一份完整拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的大型数据库。

3、Hadoop是一个分布式文件系统的基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。HADOOP实现了一个分布式文件系统，简称HDFS。并且设计用来部署在低廉的（low-cost）硬件上。且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。;主要产品对应关系;橘云大数据处理平台OCDC简介;橘云大数据处理平台技术架构;云VS传统;提纲;平台功能概要;基础数据-元数据;基础数据-接入平台;基础数据-维度数据;基础数据-自定义节点;数据流程;数据流程-流程节点;数据流程-逻辑节点;数据流程-监听节点;调度任务;调度任务;调度任务-任务组;平台监控-任务监控;平台监控-集群监控;平台监控-集群监控;Hive管理–hive简介;类库表的数据管理机制

为了方便数据运维管理，橘云分布式计算产品将基于文件、目录结构的分布式文件，映射为类数据库表的数据管理方式。可以以数据库实例、数据库表的方式，方便地进行数据的创建、修改和查询。并支持类似数据库的分区、分表机制，提升数据处理效能。;平台应用流程;;主机支持：支持HP、IBM、Cisco、Dell等任意厂商主机设备，建议基于x86架构的刀片机PC服务器。

存储支持：支持集中式的磁盘???列存储，也支持基于本地硬盘的存储方式。

网络要求：主节点和子节点之间需支持千兆及以上网络带宽。

操作系统：支持各类操作系统如Unix、Linux。建议采用Linux系列（Redhat、CentOS等）。

扩容方式：支持通过扩容方式线性增加ETL平台处理能力，支持设备的动态扩容。;计算能力线性扩容;提纲;二次开发;提纲;功能描述：

Oracle、DB2等数据库抽取

FTP从接口机指定目录抽取

主要处理流程：

1FTP传输（或DB抽取）

2记录传输数据

3删除FTP远程数据

实施关键点：

1抽取总连接数可控

2支持多连接提高抽取速度

3异常情况下避免文件的重传、漏传

4数据传输记录要有证可查

;业务场景举例----接口数据校验与入库;业务场景举例----数据分组、汇总、关联;业务场景举例----数据加载;9、春去春又回，新桃换旧符。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，日子像桃子一样甜蜜。7月-207月-20Thursday,July16,2020

10、人的志向通常和他们的能力成正比例。15:03:5815:03:5815:037/16/20203:03:58PM

11、夫学须志也，才须学也，非学无以广才，非志无以成学。7月-2015:03:5815:03Jul-2016-Jul-20

12、越是无能的人，越喜欢挑剔别人的错儿。15:03:5815:03:5815:03Thursday,July16,2020

13、志不立，天下无可成之事。7月-207月-2015:03:5815:03:58July16,2020

14、ThankyouverymuchfortakingmewithyouonthatsplendidoutingtoLondon.ItwasthefirsttimethatIhadseentheToweroranyoftheotherfamoussights.IfIdgonealone,Icouldnthaveseennearlyasmuch,becauseIwouldnthaveknownmywayabout.

。16七月20203:03:58下午15:03:587月-20

15、会当凌绝顶，一览众山小。七月203:03下午7月-2015: