Office 2007数据挖掘外接程序讲义.pptVIP

Office 2007 数据挖掘外接程序 DMC第一次讲课 主讲人：韩钧 指导老师:谢邦昌 单位：厦门大学 计划统计系 06硕 E-mail：bodethaw@ MSN： bodethaw@ 什么是DM？ 数据挖掘一般是指在数据库中，利用各种分析方法与技术，将过去所累积的大量繁杂的历史数据中，进行分析、归纳与整合等工作，以提取出有用的信息，找出有意义且用户有兴趣的模式(Interesting Patterns)，为企业管理阶层的决策提供参考依据。? ? SQL简介 Microsoft SQL Server 2005 扩展了 SQL Server 2000 的性能、可靠性、可用性、可编程性和易用性。SQL Server 2005 包含了多项新功能，这使它成为大规模联机事务处理 (OLTP)、数据仓库和电子商务应用程序的优秀数据库平台。 同学们近期会接触到的—— Analysis Services 引入了新管理工具、集成开发环境以及与 .NET Framework 的集成。许多新功能扩展了 Analysis Services 的 和分析功能。 数据挖掘 想要多了解SQL一点 请先查看“开始菜单”SQL教程和在线丛书。 下一周，来升强老师 会为大家进行具体讲授 Solution： Office 2007 数据挖掘外接程序 不太懂数据库，能搞数据挖掘吗？ Logistics regression 许多社会科学问题的观察，都只是分類而非連续的。对于分類问题时，线性回归就不适用了。 因变量被看做离散型随机变量！ Logistic Regression就是针对二元因变數 ，即是1或0。常代表选择量度中的「是」与「否」兩類。 如果该随机变量的概率分布是 0 1 （ ，1- ） 则 被称作胜算比(Odds Ratio) 很多时候，自变量X对于 的影响服从logistic曲线，可以写成如下表达式 现在我们要估计的是 与 这两个参数。请注意， 不能够解释成X变化一个单位，概率 变化的数量。 的意义是这样的 0， X与 正相关 0， X与 负相关 X增加一个单位， 的变化不是个常数，要用 来计算。 NeuralNetwork类神经网络 类神经网络和回归分析不同，没有任何假设的机率分布，是模式识别和误差最小化的过程，在每一次经验中提取和学习信息。 类神经网络可以处理连续型和类别型的数据，对数据進行预测。 Backpropagation Neural Networks(BP神经网络） 神经元的结构 x1 x2 xn w1j w2j wnj yj Pj f(Pj) n表示变量的个数 xi表示第i个输入变量 Wij表示第j个神经元的第i个变数的权重 Θj是第j个神经元的阈值 Pj表示第j个神经元的组合函数 f（?）是神经元的启动函数 yi=f(Pj)是第j个神经元的输出值。 決策樹(Decision Tree) 分类的原理 数据库 分类标记 性别 年龄 婚姻 否 是 否 是 Female Male 35 ≧35 未婚 已婚 监督式(supervised learning)的机器学习法------ 決策樹(Decision Tree) 很明显，性别、年龄、婚姻、家庭等属性可能会影响“是否购买房车” 但是那种属性影响大呢？ 按照“年龄”这种有多个取值的属性来分类，分界线划在哪里合适呢？ 决策树的原理就是不断尝试用各种属性，每个属性的各个取值 ，分出的类与类之间，在分类标签(如“是否购买房车”)方面差异化最大。 衡量类间差异的原理： 信息熵（GainRatio）原理 基尼系数（Gini Index）原理 如果分类标签是连续变量，则决策树算法自动变成回归树算法，衡量类间差异的原理变成——组间方差最大化 与聚类(clustering)比较 聚类是非监督式的学习，不凭借分类标记把个体归成几类。 聚类没有预测功能，分类可以预测。例如只要知道新出现的潜在客户的年龄、婚姻、性别等资料，就能推断其“是否购买房车”的可能性大小。 Association Rule关联规则 关联规则判断标准 支援度（support,也称广泛度，普遍度） 置信度（confidence,也称预测度） 增益(lift) 运动鞋Y1 单独购买 合计 球鞋Y11 慢跑鞋Y12 上衣X 衬衣X1 10 10 外套X2 夹克X21 400 100 40 540 滑雪衫X22 200 200 60 460 单独购买 50 40 合 计 65