大数据分析项目.docVIP

公司简介： 智友是一个年轻的文化品牌，旗下有多个互联网产品线，覆盖生活方式、音乐、创意，时尚等多个领域。 致力发展为最大的年轻人文化出版与发行渠道，挖掘文化领域的年轻力量。旗下产品音乐软件“xxx”是时下最流行的音乐App，首创弹幕评论交友，独特3D音乐颠覆你的听觉体验。上线短短数月就受到了百万音乐发烧友的喜爱和追捧，苹果商店音乐免费榜长期稳居前五。  公司业务： 发现你不知道的好听音乐、3D立体声音(雨声、场景立体特效声)、趣味声音。 首创声音/音乐弹幕评论，让你感觉不再是一个人听歌！从未有过的听觉社交体验。 随时随地录下生活中的精彩，录音变声、拍照变形统统有。 制作酷炫的有声表情，和朋友聊天显得更萌萌哒。 遇见音乐/声音大咖，轻松结识跟你喜欢同一首歌/音频的朋友。 根据你的听歌风格定制属于你的首页歌曲和推荐歌曲。 根据歌曲收听量排出每种歌曲类型的热门歌曲。 用户录制自己的MV和歌曲上传到echo让更多的音乐爱好者认识你。 9.用户社区，好友圈，看看你的朋友都在聊什么听什么。 项目需求： 用户画像，根据听歌风格，每天在线时间，用户收藏了哪些歌曲，总是跳过播放哪些歌曲，来给用户打标签。 2.每天对新上线的音乐进行分类统计，每类歌曲新增数。 3.每天根据用户标签推荐他喜欢的top10歌曲。 4.实时统计用户上传的音乐，MV的数量。 5.每十分钟对用户上传的音乐，MV的收听和点击率情况进行分析统计。 6.每天对用户上传的音乐进行分类化和收听点击率排名。 7.每天更新统计注册用户数和会员用户数。 8.统计手机端APP，android，ios占比度。 9.统计用户听歌的方向性和潮流性，来决定公司需要引进哪些类型的歌曲。 10.用户圈，统计用户圈中讨论最多的热词。 11.发现和你口味相同的朋友并推荐给你。  项目架构： 从手机客户端APP，PC，网页中收集用户信息，听歌信息，上传的歌曲。 通过kafka推送给mr或spark清洗。 重用kafka作为缓存，缓存把数据存储到HDFS上。 通过hive进行分析计算。 计算结果保存到hbase和mysql中。 HBase中的数据可以做用户推荐，热度排行，mysql可以共用户查看个人资料和好友信息，等级等。  需求设计： 从埋点日志导出用户听歌信息，用spark清洗出用户听了哪些歌曲，收藏了哪些歌曲，整理出用户喜好的歌曲是哪些风格，把这些风格写到mysql用户信息表相关联的用户歌曲风格表里。 用HIVE对HDFS上的每天上线的歌曲做分类统计每类新增数量。 从mysql查看用户的喜好歌曲标签，然后在歌曲库中找到对应的分类歌曲推荐给用户。 利用spark把用户上传的歌曲从HDFS上导入进来进行一个求和操作，把结果直接导入hbase中。 从mysql中的用户注册表中通过注册时间过滤出今天注册的用户，然后进行求和操作，在今天注册的用户中按照字段“会员”条件查找会员用户求和。 设计实现： 1.统计每类新增歌曲数量 从HDFS里导入hive每天分类好的歌曲 每日新增歌曲数量表 字段中文名 字段英文名 字段类型 Id 编号 Int songName 歌曲名 String singername 歌手名 String Style 曲风 String Date 时间 String 1,演员,薛之谦, 流行,2016-3-20 2,告白气球,周杰伦,流行,2016-3-20 3,成都,赵雷,流行,016-3-20 4,espana cani,andre rieu,古典,2016-3-20 5,小桃红,汤旭,民谣,2016-3-20 6,everything,wrld,嘻哈,2016-3-20 7,wake,free,摇滚,2016-3-20 8,长安长安,郑钧,摇滚,2016-3-20 9,love is a killer,vixen,摇滚,2016-3-20 10,I remember,dokken,摇滚,2016-3-20 在HIVA下建一个歌曲表 Create table music_160320(id int,songName string,style string,singerName string,date string)row format delimited fields terminated by ‘,’; Load data inpath ‘NewMusic/music_160320/music.txt’ into table music_160320; Hiveselect style,count(*) from music_160320 group by style; 结果为 Style count 流行,3 古典,1 民谣,1 嘻哈,1 摇滚,4 分析APP埋点信息 Json数据结构