1-从大数据到大智慧：oracle大数据解决方案50.pdfVIP

从大数据到大智慧：Oracle大数据解决方案 贺辉群 David.He@ Big Data Team of Center of Excellence Principal Sales Consultant Industry Solution Manager for BigData Internet 什么是大数据？ 具有4V特性的数据称为大数据 • 巨大的数据量Volume • 集中储存/集中计算已经无法处理巨大的数据量 SOCIAL VOLUME BLOG 3亿+用户，高峰期 中型城市每月数十 2015年全球移动终端产 一天上亿条微博 亿智能电表数据 生的数据量6300PB SMART METER • 多结构化数据 Variety VARIETY • 文本/图片/视频/文档等 • 增长速度很快 Velocity 10110010100100100 • 海量数据的及时有效分析 VELOCITY 11010101010111001 01010100100101 • 用户基数庞大/设备数量众多/实时海量/数据指数级别增长 • 价值密度低Value VALUE • 单条数据并无太多价值，但庞大的数据量蕴含巨大财富 传统DW难以处理大数据 • 大数据的4V特点： Volume, Variety, Velocity, Value • 传统DW系统不适用于大数据的分析 • 数据量过于庞大 • 绝大部分大数据是垃圾 • 存储成本昂贵 • 大数据的多样化格式 • 需要革新性的技术手段 • 海量数据“经济方案”经济便宜的X86服务器 • 海量数据“分而治之”批量分布式并行计算Hadoop • 海量数据“灵活多变”实时分布式高吞吐高并发数据存取处理NoSQL • 海量数据“跨越鸿沟”大数据超高速装载进数据库 Oracle Big Data Solution 非结构化 半结构化 数据 ODI Adapter for Hadoop