自中心网络生成的高效分布式设计与实现.pdf

研究与开发 自中心网络生成的高效分布式设计与实现 金 欣 ，王 晶。沈奇威 (北京邮电大学网络与交换技术国家重点实验室 北京 100876；东信北邮信息技术有限公司 北京 100191) I圜 近年来数据挖掘在电信领域的应用越来越广泛，而自中心网络从人与环境交互的角度为数据分析提 出了新 的思路 ，但是 由于数据量、数据维度 、计算复杂度等原因，传统的计算方式不能应付海量数据 的自中心网络生成和分析的需求 。本文 首先给出了基于 mapreduce模 型的传统 自中心网络生成算法 的实现 ，然后提 出了新的基于 角形提取 自中心 网络生成算法 ，并给 出了基于 mapreduce编程模 型 的实现 ，该算法针对 mapreduce模型和真实的社会 网络进行了优化并实现性能提升 ，最后对两种算 法进行了运行时间和 10的 比较 关键词一社会网络分析毒分布式；hadoopimapreduce；数据挖掘；自中心网络 方式，电信运营商可以了解用户的个人喜好、消费倾向等， 1 概述 利用这些信息，在提高服务质量的同时努力实现精准的广 随着社会的发展和技术的进步，人与人之问的联系越 告投放增加收益。如何高效地对数以亿计的手机用户的个 来越紧密，手机正是一种为了满足人们互相沟通需求而出 人数据、业务数据、通话数据等进行处理，成为运营商面临 现的工具。根据工业和信息化部2010年2月公布的数据， 的新挑战。 中国的手机用户已经达到了7．74亿fl1．而在这个庞大的数 社会网络分析是数据挖掘的一个分支。它通过分析人 字之后，慢慢浮现出来的是更加丰富的用户需求．用户不 与人之间的关联寻找有价值的信息。自中心网络是指以个 仅仅满足于打电话、发短信。各种数据业务正在飞速走进 人为中心的社会网络，通过分析个人与周围环境的交互来 我们的生活，如手机阅读、多媒体业务、移动广告等。 挖掘个人特征。手机本身就是人们之间沟通的工具，运用 随着数据业务的不断丰富和电信运营商之间的竞争 社会网络分析方法对手机用户的通话网络、短信网络等进 愈发激烈，提供更好的服务，提高用户体验成为降低用户 行分析是利用数据挖掘寻找用户特征的重要手段。 流失、保证市场份额的关键。然而，如何提供更好的服务 本文将逐步设计基于hadoop分布式计算平台的自中 呢?通过对用户数据的分析了解用户喜好，并向用户提供 心网络生成算法实现，该算法针对mapreduce的分布式计 个性化的信息服务是最主要的方式之一。通过数据挖掘的 算模型，从数据分布、IO等方面对算法进行改进，最终给 出一种适合mapreduee的高效、自中心网络生成算法。 国家杰 出青年科 学基 金资助 项 目(No，国家 “973”计 划 资助项 目(No．2007CB307100，2007CB307103)，国家 自然科学 基 金资助项 目(No60902051)，中央 高校基 本科 研业 2 社会 网络分析和 自中心网络 务 费专项资金资助项 目(No．BUP120O9RCO5O5)，电子信 息产业 发展基金资助项 目(基于 3G的移动业务应用系统) 传统的机器学习和数据挖掘任务处理的对象是单独 8s¨ 辑 凳毫舞象 的数据实例，这些数据实例往往可以用一个包含多个属性 模型中，对于一个点对象来说，已经存储了自己中心网络中 值的向量