大数据的处理和分析课件.pptxVIP

大数据的处理和分析课 程 内 容课程内容（本次讲座与下述内容关系不大）围绕学科理论体系中的模型理论, 程序理论和计算理论1. 模型理论关心的问题 给定模型M，哪些问题可以由模型M解决；如何比较模型的表达能力2. 程序理论关心的问题给定模型M，如何用模型M解决问题包括程序设计范型、程序设计语言、程序设计、形式语义、类型论、程序验证、程序分析等3. 计算理论关心的问题 给定模型M和一类问题, 解决该类问题需多少资源讲 座 提 纲大数据的魅力数据挖掘、大数据、大数据案例、大数据的特点大数据时代的思维变革样本和全体、精确性和混杂性、因果关系和相关关系大数据的处理几种主要处理方式、MapReduce编程模型大数据的分析关键技术概述、PageRank初步大数据的魅力数据挖掘数据挖掘的定义 1. 从数据中提取出隐含的过去未知的有价值的潜在信息 2. 从大量数据或者数据库中提取有用信息的科学相关概念：知识发现 1. 数据挖掘是知识发现过程中的一步 2. 粗略看：数据预处理?数据挖掘?数据后处理 预处理: 将未加工输入数据转换为适合处理的形式 后处理: 如可视化, 便于从不同视角探查挖掘结果大数据的魅力数据挖掘典型事例：购物篮分析 顾客 一次购买商品 1 面包、黄油、尿布、牛奶 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、尿布、牛奶、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包