《Hive数据仓库案例教程》教学课件 第11章 综合案例2：影评大数据分析.pptxVIP

第11章 综合案例2：影评大数据分析;11.2 案例数据及建表;11.1 案例需求分析;案例数据经过ETL，符合数据处理的要求，在此基础上创建数据仓库表并向其中导入数据。;现有3个数据文件。 1．users.txt users.txt共有6040条记录数据，文件大小为131.2KB。对应字段及其数据类型分别为userid Bigint、sex String、age Int、occupation String、zipcode String。对应字段中文描述解释分别为用户ID、性别、年龄、职业、邮政编码。 2．movies.txt movies.txt共有3883条记录数据，文件大小为167.4KB。对应字段及其数据类型分别为movieid Bigint、moviename String、movietype String，对应字段中文描述解释分别为电影ID、电影名字、电影类型。 3．ratings.txt ratings.txt共有1000209条记录数据，文件大小为23.5MB。对应字段及其数据类型分别为userid Bigint、movieid Bigint、rate Double、times String，对应字段中文描述解释分别为用户ID、电影ID、评分、评分时间戳。;1．创建一个数据仓库movie;3．创建t_movie表及导入数据;11.2.3 基本信息查询;基本信息查询;11.3 数据统计分析; 统计评分次数最多的10部电影，并给出评分次数（电影名、评分次数）。 （1）按照电影名进行分组统计，求出每部电影的评分次数并按照评分次数降序排序，保存在表answer2中： create table answer2 as select a.moviename as moviename,count(a.moviename) as total from t_movie a join t_rating b on a.movieid=b.movieid group by a.moviename order by total desc limit 10;; ;11.3.2 性别当中评分最高的10部电影;（2）查询表answer3_F： select sex,name,round(avgrate,2),total from answer3_F; OK Sex name c2 total F Close Shave, A (1995) 4.64 180 F Wrong Trousers, The (1993) 4.59 238 F Sunset Blvd. (a.k.a. Sunset Boulevard) (1950) 4.57 117 F Wallace Gromit: The Best of Aardman Animation (1996) 4.56 103 F Schindlers List (1993) 4.56 615 F Shawshank Redemption, The (1994) 4.54 627 F Grand Day Out, A (1992) 4.54 132 F To Kill a Mockingbird (1962) 4.54 300 F Creature Comforts (1990) 4.51 72 F Usual Suspects, The (1995) 4.51 413;（3）创建表answer3_M???保存男性当中评分最高的10部电影（性别、电影名、影评分），要求评论次数大于或等于50次： create table answer3_M as select M as sex, c.moviename as name, avg(a.rate) as avgrate, count(c.moviename) as total from t_rating a join t_user b on a.userid=b.userid join t_movie c on a.movieid=c.movieid where b.sex=M group by c.moviename having total = 50 order by avgra