PPTV的大数据应用24.pptVIP

PPTV的大数据应用 提纲 PPTV的数据 数据的价值？ 大数据工程系统 大数据应用 PPTV的数据-用户规模 超过10亿的客户端下载量，3.4亿全平台月度活跃用户 每个活跃用户平均每天使用2小时45分钟 所有活跃用户一天使用总时长约为10980年 重大直播事件1000万用户同时在线 PPTV的数据 3.4亿活跃用户 用户属性，播放历史，播放列表，收藏? 300万视频 视频属性，评分，标签，评论，榜单? 客户端日志 （10+T/日） PC客户端，Flash/网页客户端，移动App，P2P引擎? 服务器日志 （10+T/日） Web server, LB, CDN server，广告投放，搜索，P2P server，application trace? 结构化，半结构化数据 非结构化数据 数据的价值？ ？ 投入 版权，带宽，推广，运营? 产出 流量，广告，会员，增值? 执行 分析挖掘 数据 优化算法 策略 数据的价值 ?商业运营 香港动作电影在上个月产生了多少次播放？上周呢？昨天呢？前一个小时呢？ 不同渠道带来的独立用户有多少？他们的停留时间和留存率如何？ 每一部视频的投入（版权、带宽）和产出（广告收入，付费点播）比如何？分地区分析？分终端分析？ 过去6个月月林志玲在视频观众里受关注程度变化趋势如何？山东地区观众对广州恒大队看法是否正面？ 数据的价值 ?广告投放 容量预测：下个月有多少北京地区的独立用户有可能看成龙电影3次以上？ 广告投放策略优化及效果跟踪：针对任一次视频观看，怎样投放保证最终投放次数最大化？上海地区前一个小时有多少3+用户被投放了广告X？ 人群定向： 性别，年龄 用户标签：摪琢鞌，摷彝ブ鞲緮，摪底鍞，等等 数据的价值 ?视频推荐 精准化推送：一部新的撆傲稻鐢上线了，给所有曾经对类似视频感兴趣但是2个月内没有登录的用户发送消息推送 个性化推荐：猜你喜欢 数据的价值 ?工程优化 上个月Iphone 应用2.2.2版本在武汉地区消耗了多少带宽？直播和点播带宽使用比例如何？VIP用户和普通用户相比带宽保证增加多少？ 哪些影片应该被推送到三级缓存可以在有限的存储空间内保持最好的服务效果？ P2P算法调优 CDN布局调优 挑战 大数据 安全可用 响应时间 灵活性 计算复杂性 开发成本 涵盖的业务范围 PPBIP ?PPTV的大数据平台 BBBIP ?数据收集 HDFS Log Collector 同机房 IDC 1 IDC 2 IDC X IDC Y IDC Z ? ? Server logs Client logs PPBIP ?计算流程 BIP 机房 机房A 机房B SQL Server Sync App LogTransform Job Hive apps Hive fact tables Hive dim tables SSAS/SSIS Server ETL/Cube apps SSRS Server App Server HDFS HDFS HDFS Client App Event Logs Server App Logs, Metadata Metadata PPBIP ?规模 Hadoop 集群 节点: 60=120=200 存储空间: 4PB 容量 日负载 新增数据：30+TB (来自 200+ IDC和数千万客户端) Hadoop Job: 4万 新增Hive 记录: 300亿 读字节数：2.5PB 数据仓库 Cubes: 200+ Dimensions: 100+ Measure: 50+ 基于STORM的实时统计系统 Sql Withperiod 10s select count(1) from cl_play Statement Plan Parse analysis Topology Compile Storm Topo submit fluentd LVS LVS withperiod 5m select dt(5*60) as dt, int(channelid) as channel, channelname, count(distinct userid, ipvalue) as uv from dol_client group by channel,channelname 应用设计 应用场景 ?BI报表，CUBE Hadoop ETL=Data warehouse Daily job 应用场景 ?AD HOC查询，自动化报表 使用HQL直接查询Hive 每天数千次 平均每分钟扫描1亿条记录 [cloud@SHBNJ