大数据管理与策略分析大数据技术应用介绍.pptx

大数据管理与策略分析大数据技术应用介绍Excel 实例;大纲;前言;前言;2019/6/18;资料采矿—Excel功能介绍;大数据技术应用;大数据技术应用—回归分析;2019/6/18;2019/6/18;2019/6/18;大数据技术应用—变异数分析;大数据技术应用—变异数分析;大数据技术应用—变异数分析;大数据技术应用—变异数分析;大数据技术应用—变异数分析;大数据技术应用—变异数分析;大数据技术应用—变异数分析;19;20;大数据技术应用—回归分析;大数据技术应用—回归分析;大数据技术应用—集群分析;大数据技术应用—集群分析;大数据技术应用—集群分析;相似度衡量方法：相关系数 皮尔森相关系数(Pearson Correlation Coefficient) 斯皮尔曼排序相关系数(Spearman’s rank correlation coefficient) 其中，di=xi1-xi2 ;常用集群分析的方法 阶层式集群分析：以阶层???构的方式反复进行分裂或聚合 ，以产生最后的树状架构，可从树形图取得任何想要的集群数，缺点是只适合小量资料。 BIRCH(Balanced Iterative Reducing and Clustering Using Hierarchies) CURE(Clustering Using Representatives);常用集群分析的方法 分割式集群分析： K-Means M-Mode K-Medoids(K物件) ：以集群中最具代表性的点Medoid作为集群中心，亦即利用真正的对象代表集群。 以密度为基础的方法：如果某个点邻近地区的点数大于最小点数，那么这个点就是一个密度点。 以模式为基础的方法：期望最大化算法。;集群分析方法：阶层式集群分析 算法：最小距离、最大距离、平均距离、中心点距离 观测值 欧式距离平方 ;集群分析方法：阶层式集群分析 最小距离 最大距离 ;集群分析方法：阶层式集群分析 距离平均 中心点距离 ;集群分析方法：分割式集群分析 K平均法(K-Means Method) 假设有 N 笔资料在 P 种特征下，分 K 个集群{C1,C2,..,Ck}，其中每一集群 Ci 包含 ni 笔资料，∑ ni = N，i＝1,2,..,k。 考虑所有 k 个集群的总变异 ni E = ∑ e2i = ∑ (xij-mi)T(xij-mi) i=1 ;大数据技术应用—集群分析;大数据技术应用—集群分析;大数据技术应用—集群分析;大数据技术应用—集群分析;;38;39;大数据技术应用—集群分析;大数据技术应用—集群分析;大数据技术应用—集群分析;大数据技术应用—集群分析;大数据技术应用—集群分析;大数据技术应用—判定树;大数据技术应用—判定树;大数据技术应用—判定树;大数据技术应用—判定树;大数据技术应用—判定树;ID3(Iterative Dichotomiser 3；迭代二元树3代) 以信息获利为准则，选择最大的信息获利值为分类标准 以熵(Entropy)为基础，当作信息量的混乱程度指针，当熵值愈大表示信息的混乱程度愈高 熵值计算公式 Entopy (S)= 其中数据集合S具有 c 个不同的类别，pi为类别 i 在数据集合S出现的机率;ID3(Iterative Dichotomiser 3；迭代二元树3代) 属性A在数据集合S的信息获利Gain(S,A)定义 Gain(S,A) = Entopy (Sj) - 其中 Entopy (S)：数据子集合 S 的乱度 Entopy (Sj)：数据子集合 Sj 的乱度 ：属性A来判定数据集合 S 的乱度 ;大数据技术应用—判定树(ID3);大数据技术应用—判定树(ID3);大数据技术应用—判定树(ID3);大数据技术应用—判定树(ID3);大数据技术应用—判定树(ID3);大数据技术应用—判定树(ID3);大数据技术应用—判定