机器学习算法网络大数据级应用实践.pdfVIP

1 6 Vol. 1 No. 6 第 卷第 期 2012 11 Nov. 2012 年 月 网 络 新 媒 体 技 术 机器学习算法的网络大数据级应用实践* 许春玲 范志刚 宋应文 (中国科学院上海高等研究院 上海 201210) : hadoop 。 hadoop 摘要 提出了基于 平台的关于大数据级协同过滤推荐系统的一系列关键技术和实践 前期大数据处理平台 的 ， hadoop ; ———slopeone 搭建 包括底层的硬件平台以及基于 的数据处理工具 以基于物品的协同过滤推荐算法 算法为核心实现 ， ， 了协同过滤推荐并设计了整套实验流程 实验选择了一个具有代表性开放数据源作为处理对象 最后地实验结果给出了预测 的均方根误差以及实验的耗时和数据量等指标。 : ，hadoop ， 关键词 大数据 协同过滤 The Practice of Machine Learning Algorithms on Web Big Data XU Chunling ，FAN Zhigang ，SONG Yingwen (Chinese Academy of Sciences Shanghai Advanced Research Institute ，Shanghai ，201210 ，China) Abstract :This paper focus on the practice of a series of key technologies of implement a recommender system of collaborative filtering based on hadoop cluster． Fist we set up a hadoop cluster as platform for big data ，include the hardware and the tools based on hadoop to process data ;then we carry out an experiment as a recommender to process big data sets based on item － based list out of elapsed time and data size of evry step in the experiment． Keywords :big data ，hadoop ，collaborative filtering 1 大数据与Hadoop Hadoop ， 是处理大数据的常用平台 在这种架构中大数据被打散成大小相等的数据块写入到不同的计算 。 ， ， ， 机 该方案的优势在于 从存储空间来看 针对大数据处理中大量数据持续写入的特点 可以便捷的加入新 ; ，