大数据产品相关培训.pptx

注意保密大数据产品培训信息化事业部2015年3月目录沃风云榜11.1 产品介绍 1.2产品概述1.3 技术架构 1.4 产品价值位置域产品2数据可视化3自助建模4什么是“沃·风云榜” “沃·风云榜”基于广东联通强大的大数据平台处理能力而实现。通过对全省用户上网数据、位置数据、终端数据以及基础数据的实时处理和解析，结合聚类算法以及热度模型，计算得出全省用户所关注的热点事件以及关注热词，并赋予量化的热度值进行排列展现。“沃·风云榜”的产品特征打破PV值：基于真实用户的上网行为、真实的浏览数据而计算，避免了热度可能是由机器刷PV而产生的弊端，使整个行业以及用户变得可触摸，更加权威、有序；将热点从定性转为定量：热度模型将用户行为进行热度定量转换，其价值在于通过量化指标充分评价一个事件在业界的反响和传播；突破互联网公司自身局限：一般互联网企业的搜索排行榜或事件风云榜是从自身单一平台的角度来统计热点热词；而“沃·风云榜”是从用户的角度，综合计算热点事件在受众群体以及在不同平台之间的浏览情况，更客观真实地反映出事件传播的范围和用户覆盖程度。目录沃风云榜11.1 产品介绍 1.2产品概述1.3 技术架构 1.4 产品价值位置域产品2数据可视化3自助建模4Potal页展现主要包括热点追踪（热点新闻/事件）、热词排行和电商热词、地域热词四个板块；其中热点新闻和热词排行是重点，设置简单直接的交互操作，地域热词以地图形式展示。地域热词板块电商板块热点板块搜索热词板块热词排行页面分类热词展现，按搜索引擎分类按电商分类按搜索词分类按地域搜索分类沃·风云榜的技术框架搜索热词热点跟踪预测电商热词热点事件地域热词功能应用内容爬取内容分类关键词解析摘要算法关键技术分类算法词向量模型聚类算法热度模型数据清洗文本表述转换过滤非实体向量命名实体向量识别去重数据处理上网数据BSS数据信令数据位置数据终端数据数据获取广东联通大数据处理平台主要的算法模型摘要算法过程： （1）通过标题和正文内容，计算每个分词的TF和IDF，得出每个分词的权重。 （2）对正文内容进行分段和分句，根据段落位置和句子位置赋予不同的权重。 （3）每个句子对包含的分类的权重进行累加并加上句子本身的权重，得出每个句子的得分。（4）挑选得分最高的TopN句子串联起来，形成摘要。聚类算法过程： （1）对文档正文内容进行分词，根据TF-IDF计算每个分词权重，选择TopN分词，转化为特征向量。 （2）分别计算已有的簇的质心与该文档的相似度。 （3）找出最大相似度，如果最大相似度达到某一个阈值，则加入此簇，并更新该簇的质心（即聚类到已有热点中）；否则该文档就形成一个新的独立簇，即聚成一个新的热点。热度计算模型： 事件热度由各种因子线性叠加得出：s=a1*s1+a2*s2+a3*s3+a4*s4其中：s1为该热点的网页得分：s1=e^(b1/x); s2为该热点的网站得分：s2=e^(b2/x); s3为该热点的用户点击得分；s3=e^(b3/x) s4为该热点发布时间的方差得分：s4=e^(b4/x)目录沃风云榜11.1 产品介绍 1.2产品概述1.3 技术架构 1.4 产品价值位置域产品2数据可视化3自助建模4对联通的价值沃·风云榜=营销风向标基于真实的用户、真实的数据而形成的风云榜，通过数据还原不同用户群体的兴趣和关注点，能够有效指导营销推广。沃·风云榜=商机挖掘器通过定量的指标综合评价热点事件的网络传播力和用户覆盖度，有利于业务部门从中挖掘营销机会，并判断商机价值。沃·风云榜=财富通道形成“沃·风云榜”的背后是联通利用大数据能力对各类数据的加工和计算，而这些有价值的数据能够帮助联通的合作伙伴优化其产品和服务，是增强与各行业合作的重要窗口。对行业的价值行业标杆“沃·风云榜”打破了各类搜索引擎、网络媒体和资讯平台以单一平台数据统计热点的局限，真实反映了热点事件本身，因此“沃·风云榜”更具备行业标杆的参考意义。口碑焦点“沃·风云榜”所采用的热度模型，打破了唯PV值论的落后统计方法，充分考虑了用户、点击、网站等影响因子，因此对行业合作伙伴而言更客观反映了用户的兴趣、口碑和意愿。直达用户“沃·风云榜”基于真实的用户，拥有全面的用户信息和位置、终端和消费能力等高附加值数据，较同类型产品离用户更近，蕴含着巨大的商业价值有待发掘。目录1沃风云榜位置域产品22.1 产品概述2.2 产品介绍2.3 技术架构 2.4 商业价值数据可视化3自助建模4位置域产品—产品概述　　位置域产品通过自助圈选区域，配置指标，结合平台用户指标标签生成该区域分析报表及明细数据。地图圈选配置指标促销决策支撑广告屏投放咨询 用户自定义画圈选取商圈，并选取分析用户出现在该位置的时间，选定分析用户群。自助化指标配置，包括人流量、b域指标。店面选址应用生