Ch6-MapReduce算法设计介绍.pptx

MapReduce海量数据并行处理Ch.6. MapReduce 算法设计南京大学计算机科学与技术系主讲人：黄宜华2013年春季学期鸣谢：本课程得到Google公司(北京） 中国大学合作部精品课程计划资助Ch.6. MapReduce算法设计1.MapReduce可解决哪些算法问题？2.回顾：MapReduce处理流程3.MapReduce排序算法4.实验2：莎士比亚文集WordCount实验5.MapReduce单词同现分析算法6.MapReduce文档倒排索引算法7.实验3：莎士比亚文集倒排索引实验8.专利文献数据分析1.MapReduce可解决哪些算法问题？ 自MapReduce发明后,Google大量用于各种海量数据处理,目前Google内部有7千以上的程序基于MapReduce实现。MapReduce可广泛应用于搜索引擎（文档倒排索引，网页链接图分析与页面排序等）、Web日志分析、文档分析处理、机器学习、机器翻译等 各种大规模 数据并行计 算应用领域 各类大规模 数据并行处 理算法。Cite from Google1.MapReduce可解决哪些算法问题？基本算法各种全局数据相关性小、能适当划分数据的计算任务，如：分布式排序分布式GREP(文本匹配查找)关系代数操作 如：选择，投影，求交集、并集，连接，成组，聚合…矩阵向量相乘、矩阵相乘词频统计(word count)，词频重要性分析(TF-IDF)单词同现关系分析 典型的应用如从生物医学文献中自动挖掘基因交互作用关系文档倒排索引……MapReduce可解决哪些算法问题？复杂算法或应用Web搜索 网页爬取、倒排索引、网页排序、搜索算法Web访问日志分析 分析和挖掘用户在Web上的访问、购物行为特征、以定制个性化用户界面或投放用户感兴趣的产品广告数据/文本统计分析 如科技文献引用关系分析和统计、专利文献引用分析和统计图算法 并行化宽度优先搜索(最短路径问题，可克服Dijkstra串行算法的不足)，最小生成树，子树搜索、比对 Web链接图分析算法PageRank，垃圾邮件连接分析聚类(clustring) 文档聚类、图聚类、其它数据集聚类MapReduce可解决哪些算法问题？复杂算法或应用相似性比较分析算法 字符序列、文档、图、数据集相似性比较分析基于统计的文本处理 最大期望(EM)统计模型，隐马可夫模型(HMM)，……机器学习 监督学习、无监督学习、分类算法（决策树、SVM…)数据挖掘统计机器翻译生物信息处理 DNA序列分析比对算法Blast：双序列比对、多序列比对 生物网络功能模块(Motif)查找和比对广告推送与推荐系统……MapReduce可解决哪些算法问题？基于大数据集的机器学习和自然语言处理算法信息检索、自然语言理解和机器学习的三个要素：数据,特征与算法 2001, 微软研究院的Banko and Brill*等发表了一篇自然语言理解领域的经典研究论文，探讨训练数据集大小对分类精度的影响，发现数据越大，精度越高；更有趣的发现是，他们发现当数据不断增长时，不同算法的分类精度趋向于相同，使得小数据集时不同算法在精度上的差别基本消失！ 结论引起争论：看似算法不再要紧，数据更重要！看似不再需要研究复杂算法，找更多数据就行了* M. Banko and E. Brili (2001). Scaling to very very large corpora for natural language disambiguation. ACL 2001MapReduce可解决哪些算法问题？基于大数据集的机器学习和自然语言处理算法 2007, Google公司Brants *等基于MapReduce研究了一个基于2万亿个单词训练数据集的语言模型，比较了当时最先进的Kneser-Ney smoothing 算法与他们称之为“stupid backoff “的简单算法,最后发现,后者在小数据集时效果不佳，但在大数据集时，该算法最终居然产生了更好的语言模型！ 结论：大数据集上的简单算法能比小数据集上的复杂算法产生更好的结果！* T. Brants, A. C. Popat, et al. Large Language Models in Machine Translation. In EMNLP-CoNLL 2007 - Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language LearningMapReduce可解决哪些算法问题？ 机器学习与数据挖掘并行算法中科院深圳先进技术研究院高性能