大数据的处理和分析 .pptxVIP

大数据的处理和分析;课 程 内 容;讲 座 提 纲;数据挖掘 数据挖掘的定义 1. 从数据中提取出隐含的过去未知的有价值的潜 在信息 2. 从大量数据或者数据库中提取有用信息的科学 相关概念：知识发现 1. 数据挖掘是知识发现过程中的一步 2. 粗略看：数据预处理?数据挖掘?数据后处理 预处理: 将未加工输入数据转换为适合处理的形式 后处理: 如可视化, 便于从不同视角探查挖掘结果;数据挖掘 典型事例：购物篮分析 顾客 一次购买商品 1 面包、黄油、尿布、牛奶 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、尿布、牛奶、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包、黄油 6 鲑鱼、尿布、牛奶 7 面包、茶叶、糖、鸡蛋 8 咖啡、糖、鸡、鸡蛋 9 面包、尿布、牛奶、盐 10 茶叶、鸡蛋、小甜饼、尿布、牛奶 经关联分析，可发现顾客经常同时购买的商品：尿布?牛奶 ;大数据 大数据，或称海量数据，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息 在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、避免疾病扩散、打击犯罪、测定实时交通路况或判定研究质