数据科学与数据挖掘.ppt-厦门大学数据库实验室.ppt

数据挖掘与处理(Data Mining and Data Processing);第一章 数据科学与数据挖掘;1 数据科学;1 数据科学;1 数据科学;1 数据科学;1 数据科学;1 数据科学;1 数据科学;1 数据科学;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;数据挖掘的应用;英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。。。。。。 ;GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。。。。。。;;银行;数据挖掘在银行领域的应用;Mellon银行使用数据挖掘软件提高销售和定价金融产品的精确度，如家庭普通贷款。 美国Firstar银行使用数据挖掘工具，根据客户的消费模式预测何时为客户提供何种产品。;汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。。。。。。 ;2 数据挖掘;2.1 KDD (1)定义 人们给KDD下过很多定义，内涵也各不相同，目前公认的定义是由Fayyad等人提出的。 所谓基于数据库的知识发现(KDD)是指从大量数据中提取有效的、新颖的、潜在有用的、最终可被理解的模式的非平凡过程。; (2) KDD过程 KDD是一个人机交互处理过程。该过程需要经历多个步骤，并且很多决策需要由用户提供。从宏观上看，KDD过程主要经由三个部分组成，即数据整理、数据挖掘和结果的解释评估。;2 数据挖掘;2 数据挖掘; (d)数据变换：根据知识发现的任务对经过预处理的数据再处理，主要是通过投影或利用数据库的其它操作减少数据量。 (e)确定KDD目标：根据用户的要求，确定KDD要发现的知识类型。 (f)选择算法：根据步骤5确定的任务，选择合适的知识发现算法，包括选取合适的模型和参数。; (g)数据挖掘：这是整个KDD过程中很重要的一个步骤。运用前面的选择算法，从数据库中提取用户感兴趣的知识，并以一定的方式表示出来。 (h)模式解释：对在数据挖掘步骤中发现的模式（知识）进行解释。通过机器评估剔除冗余或无关模式，若模式不满足，再返回到前面某些处理步骤中反复提取。 (i)知识评价：将发现的知识以用户能了解的方式呈现给用户。其中也包括对知识一致性的检查，以确信本次发现的知识不会与以前发现的知识相抵触。;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;2 数据挖掘;主要参考资料：;2.4 数据挖掘系统进展;第一代数据挖掘系统;CBA;第二代数据挖掘系统;第二代数据挖掘系统（续）;DBMiner;SAS Enterprise Miner;第三代数据挖掘系统;第三代数据挖掘系统;SPSS Clementine;第四代数据挖掘系统;第四代数据挖掘系统;第一代系统与第二代相比因为不具有和数据管理系统之间有效的接口，所以在数据预处理方面有一定缺陷 第三、四代系统强调预测模型的使用和在操作型环境的部署 第二代系统提供数据管理系统和数据挖掘系统之间的有效接口 第三代系统另外还提供数据挖掘系统和预测模型系统之间的有效的接口 目前，随着新的挖掘算法的研究和开发，第一代数据挖掘系统仍然会出现，第二代系统是商业软件的主流，部分第二代系统开发商开始研制相应的第三代数据挖掘系统，比如 IBM Intelligent Score Service。第四代数据挖掘原型或商业系统尚未见报导;谢谢大家！