《Hive数据仓库案例教程》教学课件 第10章 综合案例1：广电大数据分析.pptxVIP

第10章 综合案例1：广电大数据分析;10.2.1 原始数据;10.1 案例需求分析;案例数据已经经过ETF，符合数据处理的要求，在此基础上创建数据仓库表并向其中导入数据。;用户观看历史文件486.5MB，共有约3360218条数据，每条记录有17个字段。用户信息数据文件922.8KB，共有约15660条数据，每条记录有7个字段。;数据表的字段及其数据类型等结构信息分别详见表10-1和表10-2。 1．观看历史表;数据表结构;数据表结构;10.2.3 创建表;创建表;用户信息表text_user： create table text_user( phone_no string, owner_name string, run_name string, run_time string, sm_name string, owner_code string) row format delimited fields terminated by , stored as textfile;;2．创建存储格式为ORC的表orc_see和orc_user 观看历史表orc_see： create table orc_see( phone_no string, duration int, station_name string, origin_time string, end_time string, res_name string, owner_code string, owner_name string, category_name string, res_type string, vod_title string,; program_title string, day string, origin_time1 string, end_time1 string, wat_time int, data string) row format delimited fields terminated by , stored as orc;;创建表;观看历史文件存储在本地系统/opt/datas目录下，将其导入表text_see中： load data local inpath /opt/datas/media3.txt into table text_see; 用户信息文件存储在本地系统/opt/datas目录下，将其导入表text_user中： load data local inpath /opt/datas/userevents.txt into table text_user;;将表text_see中数据加载到表orc_see中： insert into table orc_see select * from text_see; 将表text_user中数据加载到表orc_user中： insert into table orc_user select * from text_user; 创建完成的表： show tables; +-------------+--+ | tab_name | +-------------+--+ | orc_user | | orc_see | | text_user | | text_see | +-------------+--+;创建数据仓库表并向其中导入数据后，可以对用户观看历史和用户信息数据进行大数据分析。;查询表orc_see的记录总数： select count(*) from orc_see; +---------+--+ | c0 | +---------+--+ | 3360218 | +---------+--+ 查询表orc_user的记录总数： select count(*) from orc_user; +----------+--+ | c0 | +----------+--+ | 15660 | +----------+--+;基本信息查询;对orc_see表使用Order By按照duration字段做一个全局降序排序，并且设置只显示前20条，即Top20。select phone_no,duration from orc_see order by duration desc limit 20; OK phone_no duration 168032772171680170614016804303072168018463041680271874516803116937