项目二 财务大数据分析流程.pptxVIP

项目二财务大数据分析流程

任务1数据采集概述

目录数据采集概念一网络爬虫概念三数据采集工具二网络爬虫基本流程四

大数据对财务数据的分析关注企业内部信息将地企业各职能部门、上下游企业、竞争对手等均需考虑在内

传统的企业内部经营数据、账簿报表数据供应链上下游、工商税务、新闻网页、政策法规大数据时代财务分析的数据来源

从类型各异内容庞大的数据中快速有效地获取有价值的信息并加以分析。大数据技术本质

数据采集通过网络爬虫等技术获取数据数据清洗对获取出的各种格式数据处理成自己分析可用格式的数据数据集成根据需求，对数据进行关联、合并等相关处理数据可视化对枯燥、刻板的数据根据分析目的建立模型、挖掘、分析数据类型分析报告撰写把相关分析过程、数据等整理成报告文字数据技术应用于财务分析的主要流程

PARTONEPART一数据采集概念

一、数据采集概念数据采集将数据从数据源采集到可以支持大数据架构环境的过程。通过各种手段收集、整理、处理海量数据的过程。来源社交媒体、传感器、网络日志大数据采集

一、数据采集概念数据来源数据处理数据安全大数据采集涉及的方面数据存储

一、数据采集概念采集数据来源公司内部数据业务数据财务数据公司外部数据国家统计数据政府公开数据上市公司的年报、季报数据研究机构的调研报告

一、数据采集概念结构化数据半结构化数据数据结构非结构化数据

PARTONEPART二数据采集工具

爬虫机器学习数据采集中的工具和技术数据挖掘二、数据采集工具

二、数据采集工具功能用户定位互联网数据抓取、处理、分析，挖掘拥有一定代码基础的人群，适合编程老手

二、数据采集工具功能用户定位抓取网页文字、图表、超链接服务于任何对数据有采集需求的人群

二、数据采集工具功能特色从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化云采集

二、数据采集工具功能应用按照一定的规则，自动地抓取万维网信息的程序或者脚本搜索引擎

PARTONEPART三网络爬虫概念

三、网络爬虫概念一种自动化抓取互联网信息的程序或机器人，可根据指定的规则，从互联网上下载网页、图片、视频等内容，并抽取其中的有用信息进行处理。

PARTONEPART四网络爬虫基本流程

四、网络爬虫基本流程获取网页源代码解析网页内容存储数据确定数据源发起请求获取响应数据解析数据保存数据

上市公司财报数据采集

目录数据准备一找关键词三观察代码二修改代码四保存结果五

数据采集的概念采集的数据来源数据采集工具及采集流程知识回顾数据采集是数据分析流程的开始

数据准备观察代码找关键词修改代码保存结果上交所仿真网站数据采集流程

PARTONEPART一数据准备

数据种类和来源：多样化数据规模：大数据增长速度：快数据价值：密度低数据质量：准确、完整、可信一、数据准备

一、数据准备概念观察上交所仿真网站，查找采集数据公司信息。上交所上市公司信息披露监管的有力工具程序自动爬取数据会对服务器带来访问压力大量来自同一IP段的机器频繁访问同一网站，多数会被反爬程序拒绝。新道平台采用仿真网站数据支持多人同时进行报表数据采集

PARTONEPART二观察代码

二、观察代码#一、导入Python库文件importrequestsimportpandasaspd#二、请输入股票代码、报表年份、报表类型、请求连接code=[(600000,浦发银行)]year=[2021]report_period_id=[5000]url=[/debug/security/security.balancesheet.get]#三、使用pandas库文件打开文件name_file=pd.read_excel(数据采集/中英文对照表/中英指标对照.xlsx,sheet_name=sz_balancesheet)name_dir=dict(zip(name_file[en],name_file[ch]))data=pd.DataFrame()#四、使用for循环采集数据try:forS_idincode:stock_id=S_id[0]forbinreport_period_id:try:postdata={stockId:stock_id,reporttype:b,callType:collection}json_data=requests.post(url[0],postdata).json()[result]df=pd.DataFrame(json_data)