SAS数据挖掘及应用.doc

Sas数据挖掘目录 一：数据挖掘导论 6 1：数据挖掘简介 6 1.1数据挖掘的产生 6 1.2数据挖掘概念 6 2：数据挖掘原理 7 2.1数据挖掘技术 7 2.2数据挖掘过程 8 3：数据挖掘应用 9 3.1数据挖掘工具 9 3.2数据挖掘应用场景 10 二：SAS 数据挖掘基础 11 1：SAS Enterprise Miner介绍 11 1.1启动SAS EM 11 1.2建立工程和流程图 13 1.3识别窗口组件 18 2：SAS EM挖掘过程 19 3：SAS EM结点介绍 20 3.1 抽样 20 3.2探索 20 3.3调整 21 3.4模型 22 3.5评估 24 3.6在过程流程图中放置结点的一般规则 26 三：SAS数据管理 26 1：数据读取 26 1.1 Proc import语句 26 1.2 读取逗号分隔的文件 28 1.3读取用tab键分隔的数据 29 1.4读取excel 30 1.5 infile格式读取数据文件 31 1.6：连接数据库 32 2: 数据预处理 33 2.1数据清洗 33 2.2数据集成 33 2.3数据变换 33 2.4数据归约 34 2.5数据离散化 34 3:数据导出 34 3.1使用export过程 34 3.2 ods方式导出文件 34 4:SAS宏处理 35 4.1第1步：写好程序，并且确保程序能够正确运行 35 4.2第2 步：使用宏变量帮助文本替换 36 4.3第3步：使用宏函数将数据集的名称变成大写 37 4.4第4步：从SAS数据集中创建宏变量 38 4.5第5步：将程序放在在宏定义中 39 4.6第6步：在宏函数中使用参数 40 4.7第7步：改变宏定义，为宏变量提供默认值 42 4.8第8步：使用proc sql创建宏变量 43 4.9第9步：在宏定义中使用%if…%then%else语句执行条件语句 44 4.10宏定义可以执行条件语句或者部分代码 45 四：SAS关联规则挖掘 47 1：关联规则 47 1.1起源 47 1.2基本思想 47 2：Apriori算法 47 2.1算法原理 48 2.2算法步骤 48 2.3算法分析与改进 50 3：SAS关联规则案例 51 3.1问题背景 51 3.2建立初始流程图 51 3.3设置输入数据源结点 51 3.4设置关联规则结点 52 3.5理解和选择分析模式 52 3.6在SAS EM中计算一个项与其他项之间的关联规则 53 五：SAS聚类分析 55 1: 聚类分析介绍 55 1.1基本概念 55 1.2算法概述 56 1.3聚类应用 57 2: kmeans算法 58 2.1基本思想 58 2.2算法步骤 58 2.3算法分析 60 3: 层次聚类算法 60 3.1基本思想 60 3.2算法步骤 61 4: SAS聚类分析案例 67 4.1问题背景 67 4.2聚类方法概述 67 六：SAS预测模型 76 1：预测模型介绍 76 1.1逻辑回归模型 76 1.2决策树模型 76 1.3神经网络 77 1.4 逻辑回归基础 77 2：逻辑回归示例 78 2.1创建SAS EM工程 79 2.2添加输入数据源节点 79 2.3添加数据划分节点 80 2.4添加变量转换节点 81 2.5运行回归模型节点，查看结果 86 2.6创建模型提升图 87 2.7部署模型 88 3：sas决策树 92 3.1问题背景 92 3.2输入数据源 92 3.3创建处理流程图 93 3.6观察变量分布 97 3.7修改变量信息 97 3.8查看描述性统计信息 98 3.9观察数据划分结点的默认设置 99 3.10创建决策树 100 4：SAS神经网络案例 103 4.1建立流程图 104 4.2设置输入数据源 104 4.3设置数据划分节点 105 4.4构建多层感应器模型 105 4.5查看结果 108 4.6通过insight节点可视化模型 110 5：Hadoop下配置kmeans计算 113 5.1下载mahout 113 5.2解压缩mahout 113 5.3配置环境变量 113 5.4测试kmeans算法 113 5.5 kmeans聚类结果可视化显示 115 七：SAS可视化技术 120 1： SAS gplot 120 1.1构建数据集 120 1.2绘制散点图 120 1.3添加标题和脚注 121 1.4使用goptions语句控制字体和高度 121 1.5改变标题的高度，右对齐脚注 121 1.6改变Y轴标签，包括内容和角度 121 1.7改变X轴和Y轴信息 122 1.8添加颜色信息 122 1.9改变坐标轴的颜色 122 1.10添加另外一条线 123 1.11改变两条数据线的符号选项 12