《数据采集与处理：基于python》教学大纲 无思政.docx

第PAGE5页

《数据采集与处理：基于Python》教学大纲

课程名称（中文）：数据采集与处理：基于Python

课程名称（英文）：DataAcquisitionandProcessingwithPython

授课对象：信息管理与信息系统、数据科学与大数据与技术、数理统计等专业

建议学时：48 学分：3

先修课程：数据结构、数据库原理、Python语言程序设计与应用

课程简介

数据采集与处理是大数据处理与分析的重要环节，对应课程也是数据科学与大数据技术专业培养的重要环节。本课程主要讲解数据科学与大数据应用中数据采集的各类数据来源、数据格式、数据表示和加工处理及数据存储的原理和技术，并以Python为主要开发语言，通过实战项目例子，带领学生完成从数据采集、数据表示、转换加工及到数据存储的完整开发过程，使学生掌握相关开发方法、工具和技巧。

通过本课程的学习使学生熟悉数据采集和处理的相关原理、技术和工具，能够独立进行基于Python语言开发数据采集、加工转换和存储的完整应用程序，从而为数据科学和数据分析提供基本的数据基础，完整掌握数据科学和数据分析的全部开发过程中的相关技术和方法。

教学目标与教学内容

本课程主要学习数据获取、数据表示、转换加工和数据存储的相关原理、技术和工具，开发语言以Python为主，使学生了解基于Python语言进行完整的数据获取和数据处理的相关开发过程和并掌握相关知识和技术。具体包括：数据获取技术，数据转换加工，数据集成ETL技术，数据存储，数据可视化，统计与概率，Python数据科学工具等。本课程各章教学内容、知识目标如下所示：

表1.各章教学内容

教学章节

知识目标与教学内容

第一章

概述

知识目标

1、了解数据科学相关概念及数据分析完整过程；

2、理解数据采集与处理与其他学科和课程关系；

3、理解数据类型、数据存储和大数据相关技术；

4、了解Python相关数据科学及数据采集与处理工具等。

教学内容

数据科学与数据采集及存储，数据采集概述，数据存储概述，数据集成ETL概述，Python相关数据科学工具

第二章

Python基础

知识目标

1、了解Python语言的特点和相关开发环境；

2、掌握Python基本语法、控制结构、异常与处理及函数的封装和使用等；

3、理解Python常用数据类型和数据结构如列表、元组、字典和集合等的特点，熟练掌握其常用操作方式。

教学内容

Python简介及Python开发和运行环境及相关工具，Python基本语法与命令，Python相关模块、安装与升级，Python运算符、表达式、内置对象与常用数据结构如列表、元组、字典和集合，Python常用函数及函数封装与调用，异常处理及断言语句

第三章Numpy与Pandas基础

知识目标

1、了解Numpy和Pandas的常用数据结构、数据类型及其用途；

2、掌握Numpy多维数组的创建、存取、运算及数组间的合并拆分等常见操作；

3、理解Pandas中Series和Dataframe的特点及与Numpy多维数组的区别，掌握它们的创建、存取、运算等常用操作方法。

教学内容

Numpy简介、数据类型与多维数组，多维数组的创建、切片与检索、数组运算及拼接合并、矩阵运算等；Pandas简介与数据结构，Series和DataFrame创建与相关操作，索引对象及索引重建等

第四章

数据可视化

知识目标

1、了解数据可视化概念、相关分类和应用；

2、理解数据可视化在数据预处理和数据分析中的作用及模块功能差异；

3、掌握数据可视化模块Matplotlib、Seaborn等的编程接口和使用方法；

4、熟练使用Python编程进行不同类型的数据可视化展示和分析。

教学内容

数据可视化简介、方法与组成、相关工具、图表类型等，Matplotlib可视化工具简介及其方法和使用，其他数据可视化工具如Pandas、Seaborn和pyecharts等简介与示例

第五章

文件读写与操作

知识目标

1、了解文件的基本概念、分类、常见文件格式和基本特点，理解不同类型文件的功能和适用范围；

2、掌握Python基本的文件操作，了解对象序列化和反序列化操作及作用；

3、掌握常见结构化数据文件如CSV、JSON、Excel和XML的Python基本读写操作方法，理解文件的内容结构和编码格式；

4、了解常见非结构化数据文件如Word、PDF、图像等的内容组织格式和读写方法，理解用于科学数据存储的HDF文件格式、结构特点及读写方法。

教学内容

文件读写基本操作，Python对象和数据的序列化与反序列化简介及相关工具模块和使用方法，CSV、XML、JSON、HDF、Office、PDF、图像等文件类型简介、组织形式及Python相关工具模块和读写操作方法

第六