《金融数据分析——以Python为工具》_二、数据分析的流程.pptxVIP

Chapter02

金融数据分析流程;

金融数据分析概览

·1数据分析宏观流程

·2数据分析微观流程·3数据样本及表示

·3.1基本术语

·3.2样本表示;

菜市场

网购

获取食材

酒席准备流程

VS

数据分析流程

获取数据

数据源

爬虫;

数据分析宏观流程

·明确数据分析的目标和任务。

·准备数据分析的计算机语言或软件，本书中对应的是Python及集成开发环境Anaconda。各种炊具代表各种Python数据分析库或包。

·菜单中的菜肴代表的是各种数据分析的任务和结果展示，例如作为前菜的探索性数据分析、作为主菜的数据建模和模型评价、作为甜点的结论分析等。;

数据分析宏观流程

·食材代表的是金融数据，依赖于数据分析的目标和任务。

·菜肴的烹饪过程对应于数据分析的过程。

·珍藏佳酿代表数据分析得出的结论。;

数据分析微观流程

数据源数据读取

可视化;

数据分析微观流程

·1)数据读取。从数据文件、数据库等数据源读取数据，得到结构

化的二维表数据。

·2)初步探索性分析。从纯数据抽象的角度(不含业务逻辑)了解

数据集的大小、数据缺失、属性类别、数据分布等情况。

·3)特征工程。基于初步探索性分析的结果进行数据清洗、数据规

范化、特征提取等预处理。;

数据分析微观流程

·4)探索性数据分析。得到规范的数据集后，在建模之前结合业务

逻辑背景进行一些简单的统计分析。

·5)建模分析。包括数据建模、模型评估、模型预测等步骤，这通

常是数据分析特别是数据挖掘的主要环节。模型可以分为业务逻辑模型和机器学习模型。

·6)结论分析及展示。对探索性分析和建模分析的结果进行总结，

得出一些有用的规律和结论。;

数据样本及表示

典型的结构化数据集是一张二维表，通常称为一个样本

(sample)或数据集(dataset),从统计学的角度代表对随机总体的抽样。

样本的每一行代表一条数据记录，称为示例(instance)或样品，

样本的每一列代表样品在某一维度上的取值，称为样本的属性

(attribute)。;

数据样本及表示

样本的属性有时也会被称作特征(feature)、字段(field)或

者变量(variable)。我们把拥有了标记信息的示例称为样例

(example)。

从回归的角度看，样本属性即自变量或解释变量，样本标记即

因变量或被解释变量。

二分类问题；多分类问题；回归问题。;

Xi=(xi1,Xi2…,xid)是由d个属性值构成的第1个样例的属性向量，y是标记向量。

属性1属性2标记

0X11X12X1dy1

X22X2dy2

m-1Xm1Xm2XmdYd;

数据样本及表示

根据不同的功能，样本可以被进一步分为训练集(trainingset)、

验证集(validationset)和测试集(testingset)。