《HiC2016-BC-PDM-基于MapReduce并行数据挖掘工具@移动》.pdf

下载文档 降价啦

23
0
约 29页
2015-10-19 发布于河南
举报
版权申诉
保障服务

《HiC2016-BC-PDM-基于MapReduce并行数据挖掘工具@移动》.pdf

1、本文档共29页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

BC-PDM ：基于MR并行数据挖掘工具研发与应用邓超中国移动研究院 dengchao@ 内部资料内部资料注意保密注意保密内部资料内部资料注意保密注意保密目录背景海量数据挑战传统数据挖掘面临问题 MR & Hadoop 适应海量数据挖掘 BCBC--PDMPDM ：：基于基于MRMR并行数据挖掘平台并行数据挖掘平台功能特性架构特性 PKMeans ：BC-PDM 中挖掘算法并行化实例开放性问题 BC-PDM试用内部资料内部资料注意保密注意保密内部资料内部资料注意保密注意保密海量数据挑战中国移动业务产生海量数据中国移动业务产生海量数据中国移动业务产生海量数据中国移动业务产生海量数据客户数客户数: 突破突破550,000,000 客户数客户数突破突破客户话单数据客户话单数据CDR (calling data record) 客户话单数据客户话单数据 12TB/12TB/月月月月//省公司省公司省公司省公司月月月月省公司省公司省公司省公司 BASS: 6000TB （（2009年）年）（（年年））信令数据信令数据(Network signaling data) 信令数据信令数据 1个省公司个省公司(> 20 million 客户客户) 个省公司个省公司客户客户 GPRS 信令信令: 48GB/day 信令信令 3G 信令信令: 1TB/day 信令信令 voice, SMS signaling data, …… 内部资料内部资料注意保密注意保密内部资料内部资料注意保密注意保密传统数据挖掘面临问题基本过程首先，加载数据集到内存整个数据集上预处理：提高数据质量、选择属性、采样/过滤得到候选数据子集在预处理后的候选数据子集上，执行数据挖掘算法，得到模型利用模型，对新数据集给出预测结果问题海量数据内存不足难以接受的响应时间内部资料内部资料注意保密注意保密内部资料内部资料注意保密注意保密 MR&Hadoop对海量数据挖掘适用性数据挖掘处理的特征离线分析数据集内各条记录间独立、无数据相关性绝大多数操作, 需要遍历整个数据集对每条记录运算训练数据的规模影响挖掘所得模型的精准度训