EMCGreenplum统一数据分析平台项目解决方案.pptVIP

EMC Greenplum Unified Analytics Platform统一数据分析平台 Alex Liu 刘琳 EMC Data Computing Division Cloud Meets Big Data What is Big Data? Cloud Computing What is changed? Greenplum UAP Greenplum Database Greenplum HD Greenplum Chorus Greenplum DCA Agenda 什么是大数据？ 维基百科对大数据的定义，即无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合 大数据呈现出三大特征，即3V 数据大(Volume)，例如Facebook每天在30万台服务器上处理25Tb数据 时效性要求高(Velocity)，例如搜索引擎要求在几分钟内为用户查询新闻 种类和来源多样化(Variety)，除了结构化的数据、半结构化、非结构化的数据大量产生 Source : 2011 IDC Digital Universe Study 1 ZB = 1024 EB, 1 EB = 1024 PB 数据源正在膨胀 Cloud Meets Big Data What is Big Data? Cloud Computing What is changed? Greenplum UAP Greenplum Database Greenplum HD Greenplum Chorus Greenplum DCA Agenda 大数据解决之道 - 云计算 古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们不曾想过培育更大更壮的牛。同样，我们也不需要尝试开发超级计算机，而应该试着结合使用更多计算机系统。 —— Grace Hopper 云计算的特点 云计算特点 内容 超大规模 云”具有相当的规模，Google云计算已经拥有100多万台服务器，亚马逊、Yahoo等公司的“云”均拥有几十万台服务器。“云”能赋予用户前所未有的计算能力。 虚拟化 云计算支持用户在任意位置、使用各种终端获取服务。所请求的资源来自“云”，而不是固定的有形的实体。 高可靠性 “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机更加可靠。 通用性 云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一片“云”可以同时支撑不同的应用运行。 高可扩展性 “云”的规模可以动态伸缩，满足应用和用户规模增长的需要。 按需服务 “云”的规模可以动态伸缩，满足应用和用户规模增长的需要。 低总体成本 “云”的特殊容错措施使得可以采用极其廉价的节点来构成云。 Cloud Meets Big Data What is Big Data? Cloud Computing What is changed? Greenplum UAP Greenplum Database Greenplum HD Greenplum Chorus Greenplum DCA Agenda 驾驭大数据能够改变什么？ 2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获 得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。 驾驭大数据能够改变什么？ 电信行业借助社交网络分析，对客户的通话数据进行分析，能够识别出这部分“影响者”。社交分析并不是分析单一用户的通话记录，而是分析各用户所处的社交网络。房 驾驭大数据能够改变什么？ 全球金融危机带给我们的最大教训就是加强风险的监管力度，如何更好的进行风险管理已经成为银行等金融机构重要的课题。 Cloud Meets Big Data Greenplum UAP Greenplum Database Greenplum HD Greenplum Chorus Greenplum DCA Agenda What is it? Private/Hybrid Cloud Infrastructure or Appliance Data Access Query Layer 3rd Party/Partner Tools Services Greenplum Chorus - Analytic Productivity Layer Greenplum Hadoop Data Scientist Data Engineer Data Analyst Bl Analyst LOB User Greenplum Database Data