大数据的处理和分析计算机科学导论十讲课件.ppt

当矩阵很大时，可用 MapReduce 实现矩阵运算。对于分块乘： 1. Map 任务计算两块的乘，用结 果在 Z 中的位置作为键 2. Reduce 任务按键值来分别累加 Map 任务的结果 b n 大数据的处理 X: Y: Z: b n 大数据的处理 X: Y: Z: 当矩阵很大时，可用 MapReduce 实现矩阵运算。对于分块乘： 1. Map 任务计算两块的乘，用结 果在 Z 中的位置作为键 2. Reduce 任务按键值来分别累加 Map 任务的结果 b n 大数据的处理 X: Y: Z: 当矩阵很大时，可用 MapReduce 实现矩阵运算。对于分块乘： 1. Map 任务计算两块的乘，用结 果在 Z 中的位置作为键 2. Reduce 任务按键值来分别累加 Map 任务的结果 当矩阵很大时，可用 MapReduce 实现矩阵运算。对于分块乘： 1. Map 任务计算两块的乘，用结 果在 Z 中的位置作为键 2. Reduce 任务按键值来分别累加 Map 任务的结果 b n 大数据的处理 X: Y: Z: b n 大数据的处理 X: Y: Z: 当矩阵很大时，可用 MapReduce 实现矩阵运算。对于分块乘： 1. Map 任务计算两块的乘，用结 果在 Z 中的位置作为键 2. Reduce 任务按键值来分别累加 Map 任务的结果 b n 大数据的处理 X: Y: Z: 当矩阵很大时，可用 MapReduce 实现矩阵运算。对于分块乘： 1. Map 任务计算两块的乘，用结 果在 Z 中的位置作为键 2. Reduce 任务按键值来分别累加 Map 任务的结果 大数据的处理和分析 计算机科学导论第十讲 计算机科学技术学院 陈意云 0551 yiyun@ustc.edu.cn 课 程 内 容 ? 课程内容 （本次讲座与下述内容关系不大） 围绕学科理论体系中的模型理论 , 程序理论和计算理论 1. 模型理论关心的问题 给定模型 M ，哪些问题可以由模型 M 解决；如何 比较模型的表达能力 2. 程序理论关心的问题 – 给定模型 M ，如何用模型 M 解决问题 – 包括程序设计范型、程序设计语言、程序设计、 形式语义、类型论、程序验证、程序分析等 3. 计算理论关心的问题 给定模型 M 和一类问题 , 解决该类问题需多少资源 讲 座 提 纲 ? 大数据的魅力 – 数据挖掘、大数据、大数据案例、大数据的特点 ? 大数据时代的思维变革 – 样本和全体、精确性和混杂性、因果关系和相关 关系 ? 大数据的处理 – 几种主要处理方式、 MapReduce 编程模型 ? 大数据的分析 – 关键技术概述、 PageRank 初步 ? 数据挖掘 – 数据挖掘的定义 1. 从数据中提取出隐含的过去未知的有价值的潜 在信息 2. 从大量数据或者数据库中提取有用信息的科学 – 相关概念：知识发现 1. 数据挖掘是知识发现过程中的一步 2. 粗略看：数据预处理 ? 数据挖掘 ? 数据后处理 预处理 : 将未加工输入数据转换为适合处理的形式 后处理 : 如可视化 , 便于从不同视角探查挖掘结果 大数据的魅力 ? 数据挖掘 – 典型事例：购物篮分析 顾客 一次购买商品 1 面包、黄油、 尿布 、 牛奶 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、 尿布 、 牛奶 、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包、黄油 6 鲑鱼、 尿布 、 牛奶 7 面包、茶叶、糖、鸡蛋 8 咖啡、糖、鸡、鸡蛋 9 面包、 尿布 、 牛奶 、盐 10 茶叶、鸡蛋、小甜饼、 尿布 、 牛奶 经关联分析，可发现顾客经常同时购买的商品：尿布 ? 牛奶 大数据的魅力 ? 大数据 – 大数据 ， 或称海量数据 ， 指所涉及的数据量规模 巨大到无