Python项目开发实战_读取巴菲特最近的持仓数据_编程案例解析实例详解课程教程.pdfVIP

43 项目实战：用Python读取巴菲特最近的持仓数据 大家好，我是Lemon ，最近关注巴菲特的同学比较多，结合2020 年巴菲特致股东信，我也去了解了下伯克希尔 最近的持仓情况。 43.1 数据表格情况 持仓情况的披露文件发布在美国证监会网站上，在美国，13F 文件是机构公布季度持仓时需要披露的文件。 这个文件可能跟国内的有点不一样，我们一起来看看吧。 Figur e43.1: 下载页面 在官方网站上，是以网页格式进行披露的（html 和xml），点击上图中红色箭头所指的“html” 文件后，在会在网 页格式中打开持仓情况。如下： Figur e43.2: 网页情况 从上面的表格中，可以清晰的看出伯克希尔的持仓情况。如果我们想对伯克希尔的持仓情况进行分析，则可以将数 据保存到本地，然后进行分析，尤其是涉及多份数据进行对比和分析的时候，对这些数据的读取和梳理就有必要了。 43.2 数据读取 下面我们来看看如何用 Python 进行读取。首先，我们将下面红色箭头所指的“xml” 文件下载到本地，名称为 “test.xml” 。 Figur e43.3: 本地文件 初步观察网页格式上的数据，可以看出，这个数据表格是一个嵌套型的表格，我们在数据分析的时候，最好进行转 化为二维的datafram 。 Figur e43.4: 数据格式 本来我是想用Pandas 直接进行数据读取的，后来发现是嵌套表格之后，有点麻烦。于是改用BeautifulSoup 来 读取，可以将嵌套的数据也单独提取出来，方便后续分析。 用BeautifulSoup 进行解析的时候，思路其实比较简单： 1. 读取XML 文件的内容 2. 构造一个pandas 的datafram ，用来保存解析出来的数据 43.3 xml格式内容读取 我们知道，BeautifulSoup 可以用来解析html、xml 等网页的标记语言内容。因此，对于XML 文件，我们可以 直接进行读取。 下面的代码中的“test.xml” 文件是我们保存的本地的文件，在本文结尾处也提供了获取方式。 1 # -*- coding: utf-8 -*- 2 3 @Author: Lemon 4 @ 出 品： Python数 据 之 道 5 @Homepag : 6 7 8 from bs4 import BeautifulSoup 9 import pandas as pd 10 11 path = r./test.xml 12 13 htmlfil = open(path, encoding=utf-8) 14 15 htmlhandl = htmlfil .read() 16 17 soup = BeautifulSoup(htmlhandl , xml) 18 19 print(soup) 读取标记语言的内容后，我们再来通过BeautifulSoup 的find_all和find功能来读取所需要的数据即可。 对数据进行封装和保存的方法有多种，我们这里采取的是构造一个空的Pandas 的DataFram 来进行封装，然 后用Pandas 的to_excel 来保存文件，这种方法还是比较方便的，有兴趣的同学可以研究下。 1 2 count = 0 3 # 构 造 一 个 空 的 datafram 4 result = pd.DataFram ({}, index=[0]) 5 6 # 根 据 持 仓 数 据 表 格， 添 加 需 要 保 存 的 字 段 （datafram 的 列 名 称 ) 7 result[nameOfIssuer] = 8 result[titleOfClass] = 9 result[cusip] = 10 result[valu ] = 11 result[sshPrnamt] = 12