基于BIG CLOUD的经分系统应用试验与落地PPT培训课件.pptVIP

基于湖北移动构建的经营分析支撑体系和丰富的经营分析支持资源，结合华中科技大学在云计算和数据挖掘等方面已有和在研成果，本项目利用现有省级经营分析系统资源，构建基于数据仓库和数据集市的应用级云计算平台 提供经营分析资源的整合、共享和协同的管理能力，以提升经营分析系统计算能力和响应效率 实现对云计算平台系统的资源管理、性能监控和故障监控 2.2.2 湖北公司DM试点—云平台部署（1） 2.2.2 湖北公司DM试点—云平台部署（2） 湖北公司采用经分利旧设备，在本地搭建云平台测试环境，部署BC-PDM软件 两节点环境 六节点环境 优势：在省公司现网环境构建物理私有云平台，内网数据传输保证数据安全 十一节点环境 2.2.2 湖北公司DM试点—云平台部署（3） 云计算平台系统管理 性能管理 实时监控 历史查询、统计 热点监控 可以和其他系统接口 故障管理 实时发现主机和服务的故障 可以进行故障的抑制和主动恢复 可以和其他系统接口 历史查询和统计 故障的及时通知 资源管理 动态管理虚拟机 管理虚拟网络 监控系统资源 部署云服务 用户管理 实现整个系统的4A 统一用户管理 统一认证 集中和分散授权 2.2.2 湖北公司DM试点—方法研究（1） 根据移动用户通信行为、消费行为和业务办理渠道分析，进行数据清洗和汇总，挖掘用户特征，并由特征构成用户聚类，从而进行营销应用研究 基于BC-PDM的经分数据挖掘框架 用户特征数据 ETL处理 用户特征选择 用户特征聚类 结果评估 营销应用 用户特征描述 云存储平台 云计算平台 为了能自动发现聚类结果的潜在类别个数，本项目提出通过采用一种自定义判别函数评估聚类结果，自适应确定k值的聚类分析方法 原始数据经过预处理、特征提取后即可得到原始用户特征矩阵。对原始用户特征矩阵的每一列使用自适应k-means算法聚类，得到p组返回值，对这p组返回值按判别函数的最大值排序，取前g个判别函数最大值属性，构成用户特征矩阵 2.2.2 湖北公司DM试点—方法研究（2） 2.2.2 湖北公司DM试点—应用建模（1） 基于云计算经营分析数据挖掘平台，整合数据仓库和数据集市资源，研究用户行为分析方法 通过对某地市用户数据的挖掘和分析，捕获用户行为特征 构建用户特征矩阵，实现用户特征精准定位 提供用户及其分群、分类、分层和分级的快速响应能力，支撑市场运营需要 构建用户的内容偏好、业务偏好、使用偏好、渠道偏好等相关用户行为画像，为精准营销和差异服务提供分类依据 2.2.2 湖北公司DM试点—应用建模（2） 样本准备和数据加载 根据某月内某地市的移动用户通信行为、消费行为和业务办理渠道分析，为移动通信的营销模式提供业务支撑 数据表名称 数据表描述 数据表大小 u1_subscriber 某地市有效用户信息表 757.12 MB u1_serv_subscribe 某地市优惠订购信息表 2.23G u1_func_subscribe 某地市服务订购信息表 1.12G u1_use 某地市业务量汇总信息表 6.66G u2_deal 某地市业务受理信息表 493.37MB 构建用户特征矩阵 数据集中存在大量的缺失数据，需要用到空值域约束和缺值处理组件对每个属性进行处理，然后再构建特征选择矩阵 用户特征聚类 再用kmeans算法聚类。根据经验值选取初始中心点，如普通市话多，长话多，漫游多，闲时通话多，短信多，上网多用户，标出每类用户的显著特征，以这样的数据作为中心点文件。 运行任务 运行时间 用户特征矩阵 14分钟20秒 用户特征聚类 28分钟20秒 2.2.2 湖北公司DM试点—应用建模（3） A．原始数据表的元数据信息 B．特征选择之后的元数据信息 用户特征选择 F．k-means算法聚类输出结果 A．k-means算法输入部分数据 B．k-means算法聚类后的输出数据 E．对每个用户进行类别标识 C．k-means算法初始聚类中心点文件 D．k-means算法输出的聚类中心点文件 用户特征聚类 2.2.2 湖北公司DM试点—应用建模（4） 有效用户 信息表 优惠订购 信息表 服务订购 信息表 业务量汇 总信息表 业务受理 信息表 数据维数高达251维，按照用户特征选择原则进行属性筛选 保留92个属性使用PCA降维构建用户特征矩阵 用户特征矩阵 K-means聚类 用户行为细分 试验中将用户分为：短信业务较多用户，市话话费多用户，长话较多用户，上网流量多，外地漫游多用户等 用户行为挖掘及刻画流程 2.2.2 湖北公司DM试点—应用建模（5） 聚类模型评估方式： 聚类模型业务意义： 对模型进行统计分析后，能得到这样的结论：用户特征描述由几个关键词组成，例如“月通话时间超过50小时的用户喜欢通过10086办理业务”。通过计算每