财务大数据分析 1.2大数据挖掘概论 1.3课件项目一 大数据挖掘概论.pptxVIP

财务大数据分析 —大数据挖掘概论单元预期学习成果：学生在教师的引导下形成财务大数据挖掘的基本理论框架，并完成思维导图进行分组汇报目录大数据挖掘概述大数据挖掘方法目录大数据挖掘概述大数据挖掘方法大数据挖掘的任务描述任务预测任务相关分析聚类序列分析回归分类大数据挖掘任务三类任务的含义聚类任务根据数据的不同特征，将其划分为不同的数据类分类任务将数据对象自动归入一个或多个实现定义好的类里面回归分析研究现象之间是否存在依存关系，并对有依存关系的探讨其相关方向和相关程度互联网大数据挖掘目录大数据挖掘概述大数据挖掘方法特征选择信息增益有监督方法卡方统计量互信息无监督方法文档频率特征提取主成分分析(PCA)奇异值分解(SVD)基于深度学习的特征提取自编码方法递归神经网络模型文本的向量空间模型文本的向量空间模型即文本的相似度算法，可用于文章的个性化推荐降维相似度检测文本的概率模型N-gram模型用于判断一个句子是否为句子的概率。N-gram模型Uni-gram模型对非结构化的文本评论进行分类和提取的技术，可用于文本情感分析概率主题模型LDA模型：PLSA模型：分类技术文本分类的基本流程：经典的分类技术朴素贝叶斯最近邻居KNN给定训练样本：支持向量机SVM寻找分类规则：聚类技术基于模型的聚类方法基于密度的聚类方法基于网格的聚类方法基于划分的聚类方法层次聚类方法聚类技术聚类技术K-means的计算方法如下：1 随机选取k个中心点2 遍历所有数据，将每个数据划分到最近的中心点中3 计算每个聚类的平均值，并作为新的中心点4?重复2-3，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代K-means方法DBSCAN是一种基于密度的聚类方法，能将密度足够大的相邻区域进行连接，发现任何形状的稠密区域，主要用于对空间数据的聚类。具有处理噪声数据、聚类速度快、发现任意形状的簇等优点。DBSCAN方法回归分析回归分析是确定两种或两种以上变量之间相互依赖的定量关系的一种统计方法。回归分析过程：线性回归线性回归是假设特征和结果之间存在线性关系，其估算函数为：对训练样本，迭代更新的方式有：批梯度下降、随机梯度下降；最小二乘法等。加权线性回归加权线性回归是对不同的输入观测点赋予不同的权重，以便在拟合时避免欠拟合现象，也尽量忽略观测点误差大的情况。逻辑回归逻辑回归是一种广义的线性回归分析模型，用于因变量是分类变量的情况，在回归的连续值结果上加了一层逻辑函数映射，将连续值映射到离散值。谢 谢