金融大数据实践教程第5章 数据获得方法.pptxVIP

实践教程金融大数据永胜额尔敦格日乐主编杨瑞成陈柱魏磊副主编高等学校金融科技专业精品教材

数据获得方法第5章金融大数据实践教程

知识目标：掌握获取并清洗非结构化数据的方法；掌握获取结构化数据的方法；掌握数据描述性统计方法。能力目标：能够爬取网页代码并进行数据清洗；能够应用万得数据库、同花顺数据终端、雅虎、Tushare获取数据；能够进行数据预处理。素养目标：培养大数据思维，提高创新意识，发扬理论联系实际的优良学风。教学目标

非结构化数据的获取非结构化数据的获取

（2）（1）5.1非结构化数据的获取非结构化数据的读取、清理、存储相对复杂，本节主要针对非结构化数据的获取进行讲解。如果结构化数据来源平台未提供数据下载通道，本节内容也适用结构化数据的获取。针对非结构化数据来源的特点，首先介绍网页结构，使读者对网页具有初步理解。其次，介绍从网页上获取内容的通用方法。获取网页内容的方法较多，有些方法操作相对简单，但是通用性不强，因此仅介绍比较通用的方法（selenium库）。最后，介绍数据清洗方法。数据清洗或整理方法较多，但考虑通用性本节仅介绍正则表达式方法。

5.1.1网页结构网页主要由导航栏、栏目、及正文内容组成。导航栏是构成网页的重要元素之一，是网站频道入口的集合区域，相当于网站的菜单。栏目是指网页中