数据DATA挖掘学习小结.pptVIP

数据挖掘学习小结;内容;研究背景;知识发现（KDD);结果解释和评价; 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的、但又是潜在有用的信息和知识的过程。; 数据源是真实的、大量的、含噪声的； 发现的是用户感兴趣的知识； 发现的知识要可接受、可理解、可运用； 这些知识是相对的，是有特定前提和约束条件的，在特定领域中具有实际应用价值。 ;理解数据和数据的来源(understanding)； 获取相关知识与技术(acquisition)； 整合与检查数据(integration and checking)； 去除错误或不一致的数据(data cleaning)； 建立模型和假设(model and hypothesis development)； 实际数据挖掘工作(data mining）； 测试和验证挖掘结果(testing and verification)； 解释和应用(interpretation and use)。;数据挖掘的方法;数据挖掘的方法;2.频繁模式、关联和相关性：频繁模式是在数据中频繁出现的模 式。存在多种类型的频繁模式，包括频繁项集、频繁子序列和频繁 子结构。挖掘频繁模式导致发现数据中有趣的关联和相关性。如果 一个关联规则不能同时满足最小支持度阈值和最小置信度阈值，则 它认为是无趣的而被丢弃。 例3.频繁项集一般是指频繁地在事物数据集中一起出现的商品的集 合，如小卖部中被许多顾客频繁地一起购买的牛奶和面包。 例4.频繁出现的子序列，如顾客倾向于先购买电脑，再购买打印机， 然后再购买打印纸这样的模式就是一个序列模式。 例5.关联分析，如假设你作为某超市的经理，你想知道哪些商品经 常一块被购买，通过分析购物篮你很容易发现这一现象。;3.分类与回归：分类是这样的过程，它找出描述和区分数据类或概念的模型，以便能够使用模型预测类标号未知的对象的类标号。分类预测类别（离散的、无序的）标号，而回归建立连续函数模型。 ;4. 聚类分析：聚类分析数据对象，而不考虑类标号。对象根据最大化类内相似性、最小化类间相似性的原则进行聚类或分组。;5.离群点分析：数据集中可能包含一些数据对象，它们与数据的一般行为或模型不一致，这些数据对象是离群点。离群点数据分析称做离??点分析或异常挖掘。;数据挖掘所使用的技术;1)统计学：统计学研究数据的收集、分析、解释和表示。;3) 数据库系统与数据库：数据库系统研究、关注为单位和最终用户创建、维护和使用数据库。数据库系统在处理非常大的、相对结构化的数据集方面具有高度可伸缩性。 ;2) 机器学习：机器学习考察计算机如何基于数据学习或提高它们的性能。其主要研究领域是计算机程序基于数据自动地学习识别复杂的模式，并作出智能的决断。它包括：监督学习、无监督学习、半监督学习、主动学习。 ;4) 信息检索：信息检索是搜索文档或文档中信息的科学，它的典型方法采用概率模型。 ;5)此外还有可视化、算法、高性能计算和许多应用领域的大量技术。;数据挖掘主要利用的思想 来自统计学的抽样、估计和假设检验； 人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论； 最优化、进化计算、信息论、信号处理、可视化和信息检索； 需要数据库系统提供有效的存储、索引和查询处理支持，需要高性能（并行）或分布式计算的技术处理海量的数据集。;数据挖掘的主要问题;