大数据处理和分析报告.ppt

大数据的处理和分析  课程内容 课程内容(本次讲座与下述内容关系不大) 围绕学科理论体系中的模型理论,程序理论和计算理论 1.模型理论关心的问题 给定模型M,哪些问题可以由模型M解决;如何 比较模型的表达能力 2.程序理论关心的问题 给定模型M,如何用模型M解决问题 包括程序设计范型、程序设计语言、程序设计 形式语义、类型论、程序验证、程序分析等 3.计算理论关心的问题 给定模型M和一类问题,解决该类问题需多少资源  讲座提纲 大数据的魅力 数据挖掘、大数据、大数据案例、大数据的特点 大数据时代的思维变革 样本和全体、精确性和混杂性、因果关系和相关 关系 大数据的处理 几种主要处理方式、 Mapreduce编程模型 大数据的分析 关键技术概述、 PageRank初步  大数据的魅力 数据挖掘 数据挖掘的定义 从数据中提取出隐含的过去未知的有价值的潜 在信息 2.从大量数据或者数据库中提取有用信息的科学 相关概念:知识发现 1.数据挖掘是知识发现过程中的一步 2.粗略看:数据预处理→数据挖掘→数据后处理 预处理:将未加工输入数据转换为适合处理的形式 后处理:如可视化,便于从不同视角探査挖掘结果  大数据的魅力 数据挖掘 典型事例:购物篮分析 顾客 次购买商品 面包、黄油、尿布、牛奶 如啡、糖、小甜饼、鲑