【精选】基于Hadoop的并行数据分析系统.pdf

（ ） ， 第 卷 第 期 湖 南 大 学 学 报 自然科学版 ３９ １０ Ｖｏｌ．３９ Ｎｏ．１０ 　 　 　 年 月 （ ） ２０１２ １０ ＪｏｕｒｎａｌｏｆＨｕｎａｎＵｎｉｖｅｒｓｉｔ ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ Ｏｃｔ．２０１２ 　　　 　 　 　 　 　 　　　 ｙ 文章编号： （ ） １６７４２９７４２０１２ － － － ＊ ： ＰＤＭ 基于Ｈａｄｏｏ 的并行数据分析系统 ｐ  ， ， ， 段松青 吴 斌 于 乐 王 柏 　 　 　 （ ， ） 北京邮电大学计算机学院 北京 １００８７６ 　 ： ——— 摘 要 提出了一款基于 的并行数据分析系统 该系统拥有大量以 Ｈａｄｏｏ ＰＤＭ． 　　 　 ｐ ， 、 、 Ｍａ Ｒｅｄｕｃｅ为计算框架的并行数据分析算法 不仅包括传统的ＥＴＬ 数据挖掘 数据统计和 ｐ ， （ ） 文本分析算法 还引入了基于图理论的 社会网络分析 算法 详细阐述了并行多元线 ＳＮＡ ． “ ” ， ， “ ” 性回归算法和 多源最短路径 算法的原理和实现 其中 提出的 消息传递模型 能有效解决 ； ， 难以处理邻接矩阵的问题 介绍了基于电信数据的典型应用 如采用并行 均 Ｍａ Ｒｅｄｕｃｅ ｋ ｐ “ ”， “ ” ； 值和决策树算法实现的 套餐推荐 利用并行 算法实现的 营销关键点发