微软大数据解决方案交流44.pptVIP

微软银行业大数据解决方案交流 Presales Architect，微软服务部 目录 大数据分析挑战 微软解决方案介绍 大数据案例分享 大数据就是资本 – 但究竟什么是大数据? 未来数年数据量会呈现指数增长。根据麦肯锡全球研究院（MGI）估计，全球企业2010年在硬盘上存储了超过7ZB（1ZB等于10亿GB）的新数据，而消费者在PC和笔记本等设备上存储了超过6EB新数据。1ZB数据相当于美国国会图书馆中存储的数据的4000多倍。 “大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”—维基百科 大数据的挑战 大数据的4V特点： Volume, Variety, Velocity, Value 传统DW系统不适用于大数据的分析 数据量过于庞大 绝大部分大数据是垃圾 大数据的多样化格式 时效性高 需要革新性的技术手段 海量数据“分而治之”------批量分布式并行计算Hadoop 海量数据“灵活多变”------实时分布式高吞吐高并发数据存取处理NoSQL 海量数据“实时响应”------大数据流计算模型 我们希望从大数据获得什么？ 更高一层数据层面整合企业内外部 大数据改变数据分析思维 过去，由于数据获取的困难程度，人们在分析数据时倾向于使用抽样数据，并通过不断改进抽样方法以提升样本的 精确性，从而对整体数据进行推算，并竭力挖掘数据间的因果关系。但当前数据处理思维方式正逐步向全体性、混沌性以及相关性演变，以适应数据量的爆发式增长。 10 大数据改变数据分析思维 全体数据 混杂数据 精确数据 抽样数据 因果关系 相关关系 采样的目的在于用最少的数据得到最多的信息， 但在样本分析过程中不可避免会有一部分信息 丢失。在可以获得海量数据的情况下，对全体 数据进行挖掘和分析可以获得更多信息 。 只有15%的数据是结构化且能适用于传统数据化 的，接受不精确性能使更多的非结构化数据得 到利用。 建立在相关关系分析法上基础上的预测是大数据的核心。 传统 大数据 大数据分析不同于传统BI分析 11 如果业务需求是分析多种来源的数据。。 来源：Forrester Research，2012 年 6 月全球大数据在线调查 数据仓库与大数据的整合 超越传统数据仓库概念的大数据分析 流 Internet 级别 传统 数据仓库 In-Motion Analytics Data Analytics, Data Operations Model Building Results Internet Scale Database Warehouse At-Rest Data Analytics Results Ultra Low Latency Results 传统/关系型 数据源 非传统/非关系型 数据源 传统/关系型 数据源 非传统/非关系型 数据源 STREAMING 大数据分析平台 大数据技术是一系列技术的集合，是传统数据结构化数据与非结构化技术与数据的整合，并基于这些技术与数据进行综合的商业智能应用，包括数据分析与数据挖掘等。 目录 大数据分析挑战 微软解决方案介绍 大数据案例分享 微软的大数据分析视角——面向业务分析的愿景 非结构化数据 大数据中结构化与非结构化数据的整合 建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key） 数据获取 结构化数据 数据集市 数据集市 EDW 结构化 元数据 Hadoop 建立非结构化信息的标签、摘要、索引、日志、内容等 提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合 ODS SQL 声誉度分析 品牌分析 服务质量分析 竞争产品分析 产品评价 市场动态跟踪 数据分析路径 Information Flow –Semi-structured data to BI Information Flow – Search 数据分析路径 建设大数据BI系统的思考 17 常见架构 + PB TB 传统的BI系统架构并非一无是处，同样值得我们学习借鉴 + + MS大数据解决方案总体架构 微软大数据产品架构 Volume Velocity Variety 管理几乎来自任意来源的数据 横向扩展 大规模并行处理引擎 Massively Parallel Processing (MPP) PDW作为SQL Server的横向扩展解决方案 … MPP 提供线性横向扩展能力 Massively Parallel Processing (MPP) 大规模并行处理架构 横向扩展： 按需添加硬件实现线性扩展 无共享架构 最小 (0TB) 到最大 (6PB) 从几个TB的小型数据仓库开始 扩展到 6 PB 比SMP DW快10倍