互联网常用场景下的大数据架构解析.docxVIP

互联网常用场景下的 大数据架构解析 MediaV聚效 CTO 胡宁 博士 名人名言 “ ” ——《毛主席语录》（据说） 名人名言 “ ” ——《XXX语录》 应用 搜索 广告 机器学 习算法  大纲 任务 收集 存储 检索 分析  性能/功能 要求 数据量 读写速 度 其它 与应用相关的数据特性 ?? 数据量 ?? 数据类型 ?? 访问(Access)模式 搜索的数据特性 ?? 数据量：万亿级文档 ?? 数据类型：文档(Document)--‐索引 ?? 访问(Access)模式 –? (大部分)批量写 –? 随机读 –? 响应在数百毫秒之内 –? 更新及访问呈幂律分布(Power Law Distribu9on) 搜索引擎架构 索引 Source:邓雄《万维网Web自动搜索引擎（技术报告）》 Google索引框架 Cache servers 缓存服务器处理 Root 头部重复请求 … Pare 多层树状结构分布 Serv … 处理搜索请求 … Repository 管理替换新的 Manager 索引片段 … 叶子节点使用 … 内存存储索引 File 及文档数据 Loaders GFS Source: Je? Dean WSDM’09 Keynote 索引框架及原因解析 ?? 多层树状纯内存索引 –? 承载巨型索引 –? 处理长尾请求 –? 满