6 Big Data 数据仓储与数据挖掘 教学课件.ppt

当前研究热点 (5) 突破MapReduce 计算模型的局限性:深入分析MapReduce 计算模型内在的局限性,考虑如何改进或扩展MapReduce. 比如提高MapReduce 系统的容错性 改善MapReduce 系统任务调度的方法 超越MapReduce 的局限性,实现更为有效的 并行计算模型 * 当前研究热点 Washington 大学的研究人员对MapReduce 框架进行了扩展,使之能够有效地支持迭代式并行程序的执行 * 当前研究热点 (6) 关系数据库和MapReduce 混合技术研究: 如上文所述,关系数据库和MapReduce 技术 各有优缺点,如何融合关系数据库和MapReduce 技术,设计同时具备两者优点的技术架构(既有MapReduce 的高度扩展性和容错性,又有RDBMS 的高性能),也是大数据分析技术的研究趋势 * 总结 面对大数据深度分析的挑战,关系数据库技术的扩展性遇到了前所未有的困难 同时,SQL 的表达能力不足以进行复杂深入的数据分析 * 总结 MapReduce 技术具有简洁的模型、良好的扩展性、容错性和并行性,随着其性能的不断改进和分析能力的不断增强(与R,Weka 的结合等),在大数据分析的技术竞争中异军突起 关系数据库技术和MapReduce 技术相互竞争、相互学习和相互渗透,促进了数据分析新生态系统的浮现 * 总结