数据分析学习笔记.docxVIP

大数据挖掘：系统方法与实例分析steven.zhuo@mathworks.cn-健豪学习笔记数据挖掘基础MATLAB数据挖掘的过程定义目标准备数据探索数据趋势分析相互影响分析变量选择（重要性排序）特征进行变形Detectpatterns建立模型模型种类：关联、回归、分类、聚类、预测、异常检测评估模型部署模型数据的可视化（hist、pie、box相互混合）数据的预处理数据清洗缺失值处理删除法插补法（平均值插补、中值插补、回归插补（线性）、线性插值、回归插值（非线性））噪声过滤回归法：用一个函数拟合数据来光滑数据均值平滑法：对于具有序列特征的变量用临近的若干数据的均值来替代原始数据的方法离群点分析：通过聚类等方法来检测离群点，并将其删除，从而实现去噪的方法小波去噪数据集成数据规约（浓缩）属性选择样本选择数据变换（归一化、标准化）数据的探索（有效方法：数据可视化）分布情况探索（hist、pie、box）分布中心分析（median（中心值）、mode（频率最高）、max、mean（均值））数据的伸展性分析（极差：判断用不用归一化）(方差小：说明波动小)数据的形状分析（偏度）关联分析（plotmatrix）数据的分组分析（均值、最大值、最小值、异常值）假设检验（卡方检验、T检验）数据回归数据挖掘算法：回归算法、关联算法、聚类算法、分类、预测、异常诊断回归算法：一元回归、多元回归、逐步回归、Logistic回归一元线性：LinearModel一元非线性回归：fitnlm一元多项式回归：polyfit多元线性回归：regress（要先判断因素是否和因变量线性相关）逐步回归：stepwiseLogistic模型（结果只有0-1，可以用于银行信用评估）fitglm关联算法：Apriori算法(购物篮分析、商品关联、啤酒尿布)、FP-Growth算法、相关系数法聚类K-meams算法（kmeans）（万能聚类）层次聚类（Clusterdata）（层次结构图）（例子：股票分池）神经网络（train）模糊C均值聚类算法（计算隶属度、类似模糊数学）（fcm）高斯混合聚类（gmdistribution.fit）聚类过程中类别个数的确定方法阈值法轮廓图法分类：最近邻（KNN）、贝叶斯、神经网络、逻辑斯蒂（Logistic）、判断分析、支持向量机（SVM）、决策树K-近邻（ClassificationKNN,fit）贝叶斯分类、朴素贝叶斯分类（求分类概率）（NaiveBayes.fit）神经网络Logistic分类（glm.）判别分析（Discriminant Analysis 简称DA）(ClassificationDiscriminant.fit)支持向量机(SVM) (超平面，解决多维问题) (svmtrain)决策树(ClassificationTree.fit)分类的评价：正确率、ROC曲线（越快收敛到1越好）预测算法灰色预测（递推）（特点：对数据样本数量要求不高）马尔科夫（关键：状态转移矩阵）异常诊断（outlier离群点的诊断）高级算法和分类学习机