用户行为数据解析.pptVIP

What ? – 要作什么事 对每个宽带用户的每次浏览网页行为进行记录，在海量的数据记录上分析用户的浏览习惯、兴趣爱好、关注焦点等，对用户进行全方位的“画像”。 按用户属性和行为特征对全部宽带用户进行聚类和精细化的客户群划分。 依托运营商平台，利用网络广告、直投、个性化内容推送等手段对宽带用户进行“一对一”的精准营销。 What 图解 What 图解 – 续 Why ? - 为网通带来新价值 精准广告收入 合作模式：与网络广告商、传统广告商、SP、广告联盟分成 ? 精准的用户属性将大幅度提高广告的价值，让每一次Page View都变成金子 自营模式：个性化内容推送 [例子: “一对一”的个性化号百和12580 ] ? 想用户所想，急用户所急 直销（DM）分成收入：与最终厂商合作 提升ARPU值，快速拓展新用户 采用精准的营销策略带动用户升速 ?分析升速用户的行为习惯：什么样的用户需要升速？什么样的SP会吸引升速用户？ 通过DM捆绑销售和优惠的接入价格快速拓展新用户 ? 在新竞争格局中领先一步，形成良性的循环：更低的接入价格带来更多的用户，获得更多的增值业务收入 How ? – HyperCloud解决方案 技术架构 核心处理算法 演示 ROI分析 低成本和可靠的海量存储子系统 多级别存储，成本降到300$/TB 无需RAID支持，保证99.9%可用性 多元数据服务器，管理亿级数量文件 可在线扩展至PB级规模 平滑可扩展的分布式运算子系统 3M架构：借鉴Google的分布式计算架构，针对海量数据挖掘的需求对单点性能和多点负载均衡作最大限度的优化 Key-Value Query with Memory Cache 突破Key-Value Query的瓶颈，单点上亿条规模Key-Value对的查询时间小于200ms (传统DB的1/20)， Dell 1950 Dual Quad-Core, 3.0Ghz Range Query with Memory Database 列存储(Column-based）结构，突破Range Query的瓶颈，单点上亿条记录的Range Query ( select x from t where a y and y b ) 小于1000ms, 为传统DB的1/10， Dell 1950 Dual Quad-Core, 3.0Ghz Distributed Computing with Map-reduce 分布式计算架构，处理100G的文本时间小于10min ( 10 * Dell 1950 Dual Quad-Core, 3.0Ghz ) 高吞吐率的运营服务子系统 核心处理算法 (1)－ 基础 发现用户真正的点击行为 改进的贝叶斯算法过滤超过95％的垃圾或广告流量 语义分析技术 单字和词库结合的中文智能分词技术 大规模统计分析基础上的机器学习 从亿万网页中发现词的相关性 从单个页面中发现最重要的词 面向数据挖掘优化的海量计算 将传统的Data Mining算法移植到分布式平台上，实现PB级数据上 快速聚类和分类 快速关联分析 核心处理算法(2)-如何对用户行为分析建模 基本思想 发掘用户的显性特征 ( 关注关键词或相关词） 推理用户的隐性特征 （用户的自然属性和社会属性， 性别、职业、年龄、阶层、爱好…） 显性特征- 隐性特征是大样本基础上的机器学习 Machine Learning，ML ），例子 “劲舞团” = 游戏 - 舞蹈类 | 青少年 85% “兰寇” = 化妆品 - 兰寇 | 女 70%?? 高端 = 65% “铁血” = 爱国 | 男 90% “美女” = 闲逛 | 男 90% “爱卡论坛” /“宝马” = 汽车 - 宝马 | 高端消费人群 70% 中端消费人群 60% 低端 30%  “奶粉” = 婴幼儿用品 - 奶粉 | 女 70%，有小孩90% “内衣”, “爱慕” = 内衣 - 文胸 - 爱慕 | 女 85% 核心处理算法 (3)－处理流程 演示 Get a feeling of it … 演示用的数据样本来源 某运营商（江苏南京） 20000用户一周数据 计费系统Radius数据：1000万条 , ~10GB 包含：ADSL帐号、上线时间、离线时间、IP地址 用户所有上网行为数据（未清洗前）：14亿条HTTP Requests, ~1TB 包含：Client IP地址, HTTP Host, URL, Cookie, Referer, Agent 数据分析平台 使用2台双路4核 Dell 1950需要16小时 使用10台双路4核 Dell 1950只需要1小时 1、用户群精准定位演示 – 按关键词 2、用户群精准定位演示 – 按行业