微软hdinsight技术介绍.pdfVIP

微软HDInsight技术介绍 张强，首席技术顾问 微软（中国）有限公司 议题  为什么需要云端大数据  技术概览  介绍  动手实验 企业大数据建设面临的挑战 • 技术挑战 多种新技术的综合复杂应用 技术架构的灵活性和扩展性 大数据量下的性能挑战 • 管理挑战 原有技术团队知识技能 大数据项目是一个不断优化的过程，如何小步快跑？ • 成本挑战 一次性资产大规模投入按需付费 传统方法的极限点 Apache Hadoop 简介 实施 Hadoop 所面临的挑战 为何选择云中的 Hadoop？ 议题  为什么需要云端大数据  技术概览  介绍  动手实验 Hadoop 是一套多个项目组合的平台 如何工作？ 首先，存储数据 如何工作？ 其次，启动进程处理数据 // Map Reduce function in JavaScript var map = function (key, value, context) { var words = value.split(/[^a-zA-Z]/); for (var i = 0; i words.length; i++) { if (words[i] !== ) {context.write(words[i].toLowerCase(), 1);} }}; var reduce = function (key, values, context) { var sum = 0;