higo的技术原理与实现.pptVIP

海狗的原理与实现 母延年(子落)2013-02-21 讲者简介 花名 ：子落 真实姓名：母延年 个人邮箱：myn@163.com 海狗的coder之一 11年加入支付宝 一直做跟大数据分析与搜索相关的工作 曾任职于新浪，腾讯，酷六等公司 熟悉hadoop,storm,solr,lucene等系统的源码 如何在几秒的时间分析百亿级别的数据? 主要内容 海狗介绍 海狗架构 海狗的使用 海狗快在那里？ 下一版的higo 讨论交流 概述 概述 是一个分布式的在线分析查询系统 基于hadoop,lucene,solr,蓝鲸作为实现. 底层使用了索引技术，数据扫描的速度大为增加. 适合的应用 总数据规模在十亿到百亿，成百上千个维度 每次查询扫描的总数据量超过亿 想要快速的（几秒）得到统计结果 机器故障后能够自动恢复服务 海狗架构 提交mapreduce 蓝鲸下载索引 Jdbc查询 shard Merger server shard shard shard shard shard shard shard shard shard Merger server Merger server Merger server 2013011 2013012 2013013 2013021 2013022 2013023 2013031 创建索引部分 先在内存中创建小索引 生成小索引 将小索引合并成最终的大索引 查询部分 每个solr在各自的shards内计算 Ms合并 最顶层进一步合并，并返回结果 查询部分之分区 每个shard下是有多个分区的，每次查询，根据时间范围不同，使用的分区也不同 每次只查询一个分区， 如果跨多个分区查询，实际上是查询多次，然后经过merge server合并 Higo 的使用 String connstr = jdbc:higo://localhost:1107; Class.forName(com.alipay.higo.jdbc.HigoDriver); Connection con = DriverManager.getConnection(connstr, , ); Statement stmt = con.createStatement(); HigoQueryResultSet res = null;res = (HigoQueryResultSet) stmt.executeQuery(strsql); while (res.next()) {????for (int i = 0; i colsNames.size(); i++) {????????System.out.print(res.getString(colsNames.get(i)));????}}con.close(); 海狗的连接字符串 driver 建立连接 创建statement 执行sql 获取结果 常见sql 查询明细 select ipv,price from xxx where thedate range20130202 limit 0,20 对明细数据排序 select ipv,price from xxx where thedate range20130202 order by price desc limit 0,20 要查询的列 查询的表名 筛选条件支持range eq, gt,lg,neq等语法 Limit用于控制分页 明细数据，可以按照field进行排序，支持asc和desc 常见sql 分类汇总 select thedate,count(pv),sum(pv) from xxx where thedate range20130205 group by thedate limit 0,20 分类汇总后排序 select thedate,count(pv),sum(pv) from xxx where thedate range20130205 group by thedate order by sum(pv) desc limit 0,20 聚合字段，可以支持sum,max,min,avg,count Group by的列，多个列要用”,”分隔开 可以继续对group by 后的聚合值进行排序 海狗快在那里？ 1.每个属性值对应那些文档在创建索引过程中就预处理好?2.倒排表本身采用skiplist来实现 3.多条件查询??购买电脑的用户 and 买了手机的用户 那么做下交集即可 ??购买电脑的用户 or 买了手机的用户 那么做下并集即可 分布式并行计算 行扫描优化- lucene倒排索引 电脑