大数据存储-PPT课件 第7章 广电用户数据存储与分析.pptx

广电用户数据存储与分析;广播电视行业是指专业从事广电设备的生产、研究、销售的单位，主要包括摄、录、监、采、编、播、管、存等方面。 伴随互联网和移动互联网的快速发展，各种网络电视和视频应用（如爱奇艺、腾讯视频、芒果TV等）遍地开花，人们的电视观看行为正发生变化，由之前的传统电视媒介向电脑、手机、平板端的网络电视转化。 目前某广播电视网络运营集团已建成完整覆盖各区（县级市）的有线传输与无线传输互为延伸、互为补充的广电宽带信息网络，实现了城区全程全网的双向覆盖，为广大市民提供有线数字电视、互联网接入服务、高清互动电视、移动数字电视、手机电视、信息内容集成等多样化、跨平台的信息服务。 该集团的数据来源多种多样，需要对这些数据进行存储和分析。 ;本项目将实现广电用户数据的存储、处理和分析，先将CSV的数据导入至ElasticSearch中，再将ElasticSearch数据导入到Hive进行数据探索、清洗和分析，最后将清洗分析的结果导入MySQL和HBase中。;根据该广电公司的业务需求进行具体分析，确定存储与分析的技术选型，并设计存储与分析架构。 为模拟真实生产环境，先将CSV的数据导入至ElasticSearch中，再将ElasticSearch数据导入至Hive中。 对广电用户数据进行基础探索分析和业务探索分析，统计出不同类型的用户记录数、用户收视时长分布和用户的机顶盒待机记录。 再根