InceptorHyperbase案例演示.docxVIP

Inceptor Hyperbase实例演示 本页提供了一个模拟某运营商的通话记录以及用户信息的 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l case 实例场景，并基于此场景从 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l offline 离线分析和 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l parallel 高并发实时查询两个角度来说明Inceptor和Hyperbase的基本操作方式，内容包含了Inceptor的数据导入、加载内存、关联、统计以及Hyperbase的数据导入、建立索引、精确查询、统计分析。 实例场景 本实例场景模拟了某运营商的 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l gsm 通话记录表和 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l userinfo 用户信息表，以导入这两张表到Inceptor和Hyperbase中进行查询、关联和汇聚统计。 通话记录表 通话记录表结构 列名数据类型含义MSISDNSTRING手机号码OTHER_PARTYSTRING对方号码START_DATESTRING通话开始日期START_TIMESTRING通话开始时间IMSISTRINGimsi号通话记录表数据：存放于本地目录gsm文件夹下的gsm_data文件中 001|002182701|101 001|003182702|101 002|003182708|102 003|001131709|103 004|001131709|104 用户信息表 用户信息表结构 列名数据类型含义MSISDNSTRING手机号码CERNOSTRING身份证号CITY_IDSTRING开通城市REG_DATESTRING开通日期用户信息表数据：存放于本地目录userinfo文件夹下的userinfo_data文件中 001|1111111|SH002|2222222|SH003|3333333|NJ004|4444444|NT005|5555555|BJ离线分析 本小节叙述了如何利用Inceptor对上述二表做离线分析：包括将 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l hdfs 数据导入HDFS以及 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l memory 加载到Inceptor内存表做离线分析。 上述SQL指令都是在Inceptor Shell下手工输入执行，用户同样可以通过 HYPERLINK 31:1234/html/tutorials/inceptorexample.html \l jdbc JDBC连接到Inceptor Server以执行SQL语句。 数据导入HDFS 通话记录表数据存放于本地目录gsm文件夹下的gsm_data文件中，用户信息表数据存放于本地目录userinfo文件夹下的userinfo_data文件中： -- 在HDFS目录/user/root下创建test文件夹 hadoop fs -mkdir /user/root/test -- 数据导入test文件夹 hadoop fs -put gsm /user/root/test hadoop fs -put userinfo /user/root/test 除了将本地文件put到HDFS中以导入数据，还可以通过Sqoop将关系型数据库中的数据导入到HDFS，具体导入方法请参见语法参考手册的Sqoop部分。 加载到Inceptor内存表做离线分析 进入Inceptor Shell(transwarp -t -h [Inceptor server])之后，使用SQL在Inceptor中建立外表gsm_ext和userinfo_ext： create external table gsm_ext(msisdn string,other_party