大数据财务决策【ch03】大数据财务决策常用方法 教学课件.pptxVIP

大数据财务决策常用方法“大数据财务决策第三章 01聚类分析 聚类分析是关于分组或划分数据的方法，目的是发现隐藏在数据中的潜在结构。聚类 分析作为从数据中获取知识的重要途径，是数据挖掘和机器学习的一个重要研究领域。定义及算法种类 基于划分的聚类方法⑴K-均值(K-means)聚类算法实施步骤(2)尽means++聚类算法实施步骤(3)K-中心点(K-medoids)聚类实施步骤主要实施步骤 基于层次的聚类方法基于层次的聚类方法的实施步骤如下：首先，将数据集中的每个样本作为一个簇；其次，根据不同簇中最近样本间的距离找到最近的两个簇，合并这两个簇，生成新的簇的集合；最后，合并的过程反复进行，直至不能再合并或者达到终止条件为止。终止条件为：①设定一个最小距离阈值d,如果最相近的两个簇间的距离已经超过d,则无须合并，即聚类终止；②限定簇的个数*,如果得到的簇的个数巳经达到妇则聚类终止。主要实施步骤 基于密度的聚类方法的实施步骤如下：①通过检查数据集中各个点的，-邻域来搜索簇，如果点p的A邻域包含的点多于设定值，则创建一个以戸为核心对象的簇；而将在核心点邻域内的噪声点则标记为边界点；②迭代地聚集从这些核心对象直接密度可达的对象，并对所有的密度可达簇进行合并；③重复①和②，直到没有新的点添加到任何簇时，该过程结束。基于密度的聚类方法主要实施步骤 基于划分的聚类方法⑴K-均值(K-means)聚类算法实施步骤(2)尽means++聚类算法实施步骤(3)K-中心点(K-medoids)聚类实施步骤主要财务应用领域 02分类方法 1.决策树的基本原理决策是根据信息和评价准则，用科学方法寻找或选取最优处理方案的过程或技术，对于每个事件或决策，都可能引出两个或多个事件，导致不同的结果或结论。把这种分支用一棵 搜索树表示，即叫做决策树。2.决策树分类的主要实施步骤：（1）决策树的构建（2）决策树的修剪基于决策树的数据分类 1.支持向量机的工作原理SVM是一个二分类或多分类的分类模型。SVM方法是建立在统计学习理论的VC维 理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（对特定训练样本 的学习精度，Accuracy）和学习能力（无错误地识别任意样本的能力）之间寻求最佳折中，以 期获得最好的推广能力（或称泛化能力）。基于支持向量机的数据分类 2.支持向量机算法步骤第一步：识别训练样本中的正负样本，统计样 本总数m、特征向量维数〃，建立训练样本的向量矩 阵T；第二步：将样本的特征向量写入向量矩阵，如正样本』，读取中的特征项，假设第 z?个特征项为 0.123,则 7I0][z]=0.123o第三步：引入核函数，高斯核函数的公式为第四步：根据最优决策面公式可得第五步：SVM分类器一次训练过程完毕基于支持向量机的数据分类 1.二元logistic回归模型的原理① 选择能够代表待分类对象特征的自变量，同时对每个自变量选择合适的量化方法。②定义自变量的线性组合V，即针对自变量的线性回归结果。③将线性回归结果y映射到logistic回归函数，生成一个0?1范围取值的函数概率值。④根据概率值，定义阈值（通常为0.5）,判定分类结果的正负。⑤重复以上步骤①?④，直到得出满意的分类结果。2.二元logistic回归模型的主要实施步骤基于逻辑回归的分类方法 1.成本分析利用分类分析方法能帮助管理者确定成本动因，更加准确计算成本。同时，也可以通 过分析成本与价值之间的关系，确定采用其最佳策略的成本，持续改进和优化企业价值链。管理者可以利用数据分类工具来评价企业的财务风险，建立企业财务危机预警模型，进行破产预测。破产预测或称财务危机预警模型能够帮助管理者及时了解企业的财务风险，提前采取风险防范措施，避免破产。2.财务风险分析主要财务应用领域 03回归分析 1.求解大数据逻辑回归分析的正则化问题描述2.求解大数据正则化逻辑回归问题的方法在大规模问题下，分布式计算是一种提升计算效率的重要方法，随机坐标下降法对分 布式数据有种天然优势，同时随机坐标下降法也适用于稳定数据，在迭代过程中，坐标下降法无法收敛，而随机坐标下降法通过其随机性跳出循环的迭代值，达到收敛。基于大数据的回归分析方法 1.贷款违约预测(1)样本和指标的选择和数据的预处理(2)预测结杲与分析基于大数据的回归分析的财务应用领域 2.上市公司财务预警(1)样本和指标的选择和数据的预处理(2）预警结果与分析基于大数据的回归分析的财务应用领域 04关联规则分析 关联规则是数据挖掘知识模式中比较重要的一种。关联规则模式属于描述型模式，挖掘 关联规则的算法属于无监督学习范畴。关联规则的概念是Agrawak Imielinski、Swami提出，隐含于数据中的一种简单而实用的知识模式，是对一个事物和其他事物相互关联的