百度大数据分析系统架构的搭建.pptxVIP

百度大数据分析系统架构的搭建主讲教师：钱芬

目录CONTENT1百度大数据分析系统架构的搭建

百度的数据规模?100~1000PB?10~100PB/天?千亿~万亿?百亿~千亿?十亿~百亿/天?十亿~百亿/天?100TB~1PB/天 数据总量数据处理量 网页 索引 更新量 请求 日志百度大数据分析系统架构

离线在线离线分析与在线实验相结合快速迭代是互联网产品的 主要创新手段 算法A 算法B 算法B 通过反馈来验证算法优劣百度大数据分析系统架构

搜索引擎的迭代5%5%OnlineLearningA/Btest 策略 机器学习 平台FeatureTraining 数据网页 网页库 倒排表 DataMining百度大数据分析系统架构

想法原型系统快速开发测试产品部署运维开发框架互联网产品的迭代 A/B测试，持续优化 数据智能验证数据分析应用引擎 云测试应用引擎百度大数据分析系统架构

数据架构技术互联网服务 enable 数据智能百度大数据分析系统架构

IT产业生产力的变化‘60‘70‘80‘90‘00‘10 硬件Mainframe软件 PCInternet Inf+人+数据 Cloud迭代的本质是让人参与系统进化，而BigData为迭代指导方向，Infrastructure则加速迭代。 软件 +人百度大数据分析系统架构

互联网服务的典型技术特点超大规模快速迭代百度大数据分析系统架构

数据智能软件基础架构大数据数据中心、网络、服务器数据中心计算云计算技术体系百度大数据分析系统架构

DiskFlashPipeK/VFileTable?统一存储体系 –平衡大容量、高并发、低延迟 –不同访问模式通过组合满足?统一访问与传输数据访问层P2PCDN分布式存储百度大数据分析系统架构

描述能力数据流优化控制流管理资源分配优先级、并发控制隔离、安全执行层模型层MapReduce表示层SQL-like 翻译JoinSelectTopBCDA百度大数据分析系统架构——分布式计算

实时存储与计算kNN查询 平台向量计算引擎流式数据处理引擎PubSub 引擎机器学习算法平台OLAP引擎 复杂事件处理引擎 分布式数据结构超大规模数据仓库图查询 平台实时检索 平台百度大数据分析系统架构

向量计算引擎VectorLayoutMap-ShuffleOperators/CheckpointSIMDProgram百度大数据分析系统架构

复杂事件处理average(price)trigger(?,b,c)filter(b)pattern(a-b-c)condition(func(a,b,c))百度大数据分析系统架构

流式计算模型 windowstepboundtimeM=Streamwindow,step,bound百度大数据分析系统架构

目标?1000PB?10亿维特征训练?100维条件查询?流式?触发式 海量高维、多维 实时更大、更复杂、更快!百度大数据分析系统架构

数据智能 分布式存储与计算 大规模人工辅劣标注系统人计算向量引擎MachineLearning 算法WebContents流式处理LogsPubSub推荐系统智能交通Apps 自劢评估商业智能决策辅劣百度大数据分析系统架构

谢谢观看THANKYOU