2013中国大数据技术大会-新计算时代.pptxVIP

新计算时代——应用驱动、软件定义的数据中心计算典型应用1: 面向用户的服务PHPPythonLogicCacheMemcachedMySQL NoSQLDataWWeebbPagesQueryServingIndex BuildingCrawling倒排表网页库Data Mining典型应用2: 搜索引擎应用特点1:Workload转向离线数据处理在线离线UGC事务数据处理数据总量 数据处理量 网页更新量 请求 日志总量日志更新量~1EB? ~100PB/天? ~万亿? ~百亿/天? ~百亿/天? ~100PB? ~1PB/天百度的数据规模应用特点2: 超大规模算法A算法B算法B通过反馈来验证算法优劣离线在线离线分析与在线实验相结合应用特点3:通过快速迭代进行创新Online Learning5%机器学习 平台5%A/B testFeature Training策略数据网页网页库Data Mining倒排表搜索引擎的迭代A/B测试，持续优化数据智能快速开发部署运维测试想法原型系统产品应用引擎 云测试开发框架应用引擎验证数据分析互联网产品的迭代功能大规模存储 大规模计算 虚拟机App Engine性质Scalability大家都做了什么？数据访问层TableFileObject分布式数据结构块存储内存、Flash、硬盘? 统一存储体系? 平衡大容量、高并发、低延迟? 不同访问模式通过组合满足? 统一访问与传输混合式存储Model ComplexityHPC平台PubSub复杂事件处理向量 计算引擎图 词典流式计算Stream With WindowQuery Structure+ state machine+ read-only structMap/Reduc e实时 处理引擎TMTime SensitivityBatchIncrementalReal-time混合式计算问题 1快速交付 vs. 需求多样按需预算 ? 定期扩容 Over-provisioning 标准化问题 2迭代速度 与在线实验能力资源调度 (容错、扩容) 应用部署 (软件环境、系统拓扑)发布管理 (多版本、流量分发、过程)运营(多版本沙盒环境、流量分发、数据记录)功能(存储、运行平台、接入)资源(机架位、网络、机器)Elasticity = Scalability + End-to-End DeliveryRethink ElasticityDatacenter ArchitectureDisaggregation + RecompositionDatacenter OS调度、部署、发布我们需要什么?可重组部件高速全互联? 共享总线物理集成共享电源风扇DisaggregationBNSicafe拓扑发布管理层配置服务Bigdata监 控 体 系发布描述可用实例资源管理层线上测试数据服务可用机器机器描述image线上监控包管 理机器管理层预算管理Datacenter OS问题 3 : “光大”是不够的大规模数据管理和处理能力Volume多模态数据管理能力 关联分析能力Variety实时数据处理能力 关联分析能力Velocity大规模数据处理能力 数据智能挖掘算法Value应用知识 图谱NLP…多媒体广告 推荐管理与处理数据仓库机器学习系统架构软件基础架构(数据中心操作系统、实时存储与计算)基础设施(数据中心、网络、服务器)大数据的技术栈人计算大规模人工 辅助标注系统Apps机器学习算法自动评估向量引擎推荐系统分布式存储与计算Web Contents智能交通 商业智能PubSub决策辅助Logs流式处理大数据系统图查询kNN查询机器学习PubSub实时检索OLAP平台平台算法平台引擎平台引擎向量计算引擎触发式处理引擎流式数据处理引擎分布式数据结构超大规模数据仓库实时存储与计算大数据需要新的硬件体系结构高性能、大内存、低延迟ScalablePower-efficient以数据的移动和处理为中心新的存储、通信、计算架构异构化 (ARM / GPU / FPGA / ASIC)我们需要新时代的CRAY需与其他服务共享基础设施在线服务数据仓库机器学习模块化、可重组的体系结构数据中心级别 平台化，7*24 CommoditizedSoftware-defined DatacenterRack-scale 尽可能共享 提高内聚性可动态组装 (Recomposable) 配件池，标准化交付 满足应用层的差异性需求 (硬件虚拟化方案)以软件接口的方式隐藏异构性CPU/GPU/FPGA/AcceleratorMem/SSD/SATA整个数据中心是一台计算机应用驱动，软件定义软硬件协同创新软硬件一体的集成简化可控制性 智能 剥离控制逻辑尽可能在更大的范围内共享 (部件、