第八讲预测与数据挖掘概要.pptVIP

SAS软件应用 什么是数据挖掘？ 数据挖掘DM(Data Mining)是从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的知识和规则。这些规则蕴含了数据库中一组对象之间的特定关系，揭示出一些有用的信息，为经营决策、市场策划、金融预测等提供依据。 通过数据挖掘，有价值的知识、规则或高层次的信息能就从数据库的相关数据集合中抽取出来，并从不同角度显示，从而使大型数据库作为一个丰富可靠的资源为知识管理服务。 数据挖掘的特点 所处理的数据规模十分巨大。 寻找决策所需的信息。 数据挖掘既要发现潜在规则，还要管理和维护规则。 数据挖掘中规则的发现主要基于大样本的统计规律，发现的规则不必适用于所有数据，当达到某一阈值时便可认为有此规律。 数据挖掘的分类 根据所开采的数据库类型、发现的知识类型、采用的技术类型，数据挖掘有不同的分类方法。 (1) 按数据库类型分类 从关系数据库中发现知识； 从面向对象数据库中发现知识； 从多媒体数据库、空间数据库、历史数据库、Web数据库中发现知识。 (2) 按挖掘的知识类型分类 按挖掘的知识类型可分为关联规则、特征规则、分类规则、偏差规则、聚集规则、判别式规则及时序规则等。 按知识的抽象层次可分为归纳知识、原始级知识、多层次知识。一个灵活的规则挖掘系统能够在多个层次上发现知识。 (3) 按利用的技术类型分类 根据开采方法分为自发知识开采、数据驱动开采、查询驱动开采和交互式数据开采。 根据开采途径分为基于归纳的开采、基于模式的开采、基于统计和数学理论的开采及集成开采等。 (4) 按挖掘的深度分类在较浅的层次上，利用现有数据库管理系统的查询/检索及报表功能，与多维分析、统计分析方法相结合，进行 OLAP，从而得出可供决策参考的统计分析数据。 在深层次上，从数据库中发现前所未知的、隐含的知识。 OLAP的出现早于数据挖掘，两者都是从数据库中抽取有用信息的方法，就决策支持的需要而言两者可以起到相辅相承的作用。OLAP可以作为一种广义的数据挖掘方法，它旨在简化和支持联机分析，而数据挖掘的目的是使这一过程尽可能自动化。 数据挖掘有两种功能： (1)预测/验证功能。用数据库的若干已知字段预测或验证其他未知字段值； (2)描述功能指找到描述数据的可理解模式。 数据挖掘和知识发现的联系 知识发现KDD (knowledge discovery)是指识别出存在于数据库中有效的、新颖的、具有潜在效用的、最终可理解的、模式的、非平凡过程。 KDD的整个过程包括在指定的数据库中用数据挖掘算法提取模型，以及围绕数据挖掘进行的预处理和结果表达等一系列的计算步骤。尽管数据挖掘是整个过程的中心，但它通常只占整个过程15%～25%的工作量。 知识发现是从数据库中发现知识的全部过程，而数据挖掘则是此全过程的一个特定的关键步骤 1、熟悉应用领域、背景知识及用户的KDD任务性质； 2、数据的选择：确定与发现任务相关的数据集合； 3、数据清理和预处理，包括除去错误和冗余数据、处理丢失数据、更新数据和时序信息并将其准备成数据挖掘工具所需的表达式； 4、数据缩减和投影，寻找依赖于发现目标的、表达数据的有用特征，通过降低维数和数据转换以缩减数据规模；降低数据复杂性； 5、确定KDD目标，选择合适的算法如聚集、分类、线性回归等； 6、选择数据挖掘算法，选择适当的模型和参数；7、执行数据挖掘过程，发现模式并表达成易理解的  形式如分类规则等；8、评价和解释发现的模式，必要时反复执行步骤1到7；9、将模式提交给用户或应用到系统中。 KDD整个过程是一个以知识工作者为中心、人机交互的探索过程。  1 生物医学和DNA数据分析的数据挖掘 人类有约10万个基因。一个基因通常由成百个核苷按一定次序组织而成。核苷按不同的次序和序列可以形成不同的基因，几乎是不计其数。 具有挑战性的问题是从中找出导致各种疾病的特定基因序列模式。 由于在数据挖掘中己经有许多有意义的序列模式分析和相似检索技术，因此数据挖掘成为DNA分析中的强有力工具 2 针对金融数据分析的数据挖掘  (1) 为银行和金融数据构造其数据仓库：多维数据分析用于分析这些数据的一般特性。例如，人们可能希望按月，按地区，按部门，以及按其他因素，查看负债和收人的变化情况，同时希望能提供最大、最小、总和、平均和其他统计信息。数据仓库，数据立方体，多特征和发现驱动数据立方体，特征和比较分析，以及孤立点分析等，都会在金融数据分析和挖掘中发挥重要作用。 （2)贷款偿还预测和客户信用政策分析： 有很多因素会对贷款偿还效能