《商务数据采集与处理》教学大纲.doc

《商务数据采集与处理》教学大纲

—、课程信息

课程名称：《商务数据采集与处理》

课程类别：专业基础课

课程性质：必修

计划学时：24

计划学分：3

先修课程：无

二、课程简介

本书结合了一线大数据企业在商务数据上的采集和应用方式，从数据基础、数据来源、数据采集到数据处理等方面展开内容讲解。

本书融入了大量的实操案例，对学习目标进行详细讲解，反复强化“理论围绕实操，实操深化理论，真实掌握技能”的教学理念。

三、课程教学要求

序号

专业毕业要求

课程教学要求

关联程度

1

工程知识

了解商务数据的基础知识及来源、常规数据采集工具及应用，对商务数据以及数据采集有直观认识，了解数据采集方法与采集器、数据采集器应用、数据采集器高级应用、数据采集器定位方式及云采集以及使用较为广泛的采集器八爪鱼采集器，掌握在采集数据完成后如何进行数据处理，根据不同需要进行处理和清洗，使数据分析结果更为准确。

H

2

问题分析

发现商务数据采集与处理中存在的问题，寻找出现问题

的原因

H

3

设计/开发解决方案

提高商务数据的基础知识及来源、常规数据采集工具及应用，对商务数据以及数据采集有直观认识，结合市场上常用的数据采集和处理工具，开发自发探索能力，更好地将

H

专业所学和就业技能相结合，达到学以致用的目的。

4

研究

5

使用现代工具

ExcehDatabaseCSV、TXT、电子商务平台、Web爬虫、

API、Java、Python.PHP、为八爪鱼数据采集系统

H

6

工程与社会

7

环境和可持续发展

8

职业规范

培养认真、谨慎的职业精神；提升各种工具的使用熟练

度和精确度

H

9

个人和团队

10

沟通

11

项目管理

12

终身学习

了解新的各类商务数据采集与处理软件，不断提高各类商务数据采集与处理软件的操作能力

H

注：“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具体描述。“关联程度”栏中字母表示二者关联程度。关联程度按高关联、中关联、低关联三档分别表示为“H”“M”或“L”。“课程教学要求”及“关联程度”中的空白栏表示该课程与所对应的专业毕业要求条目不相关。

四、课程教学内容

章节

名称

主要内容

重难点关键词

学时

类型

1

商务数据采集

概述

商务数据的定义及类型

商务数据的主要来源及用途

商务数据采集和处理的基本方法

商务数据的定义及类型，商务数据的主要来源及用途，商务数据

采集和处理的基本方法

3

理论

2

商务数据采集

工具及应用

商务数据采集工具介绍

爬虫软件在商务数据分析中的应

用

Python爬虫在商务数据采集中

的应用

数据采集方法，

常用的数据采集工具，Python爬虫的优劣势

3

理论+

操作

3

数据采集方法

与采集器

了解数据采集器

数据采集器的安装与界面

数据采集器的优

势，安装注册数

据采集器

2

理论+

操作

4

数据采集器应

用

简易采集模式及实例

向导模式及实例

自定义采集模式

使用简易采集模式进行常见网站数据采集，使用自定义采集模式进行列表详情页数据采集，掌握在规则中对采集内容做初步筛选和清洗操作

3

理论+

操作

5

数据采集器高

级应用

屏蔽网页广告

切换浏览器版本

禁止加载图片

增量采集

智能防封

登录采集

网页源码提取

图片、附件的采集与下载

循环切换下拉框

移动鼠标指针到元素上

数据采集器的高级功能，增量采集和智能防封的应对方式，增量采集的方式

5

理论+

操作

6

数据采集器定

位方式及云采

集

XPath数据定位

云采集

XPath书写方

法，云采集功能

与使用

2

理论+

操作

7

数据采集器采

集实例

数据采集器应用领域

金融网站、新闻网站、职场招聘、

店铺位置的数据采集

竞品数据、企业产品相关评价、

公众号文章信息的采集

在实训中获得数据采集能力，熟悉各类数据采集领域典型网站

4

理论+

操作

8

数据处理

数据清洗与加工

数据处理的定义及作用，常见的数据清洗方法，对各类数据进行标准化加工处理

2

理论+

操作

五、考核要求及成绩评定

序号

成绩类别

考核方式

考核要求

权重（%）

备注

1

期末成绩

期末考试

大作业

50

百分制，60分为及格

2

平时成纸

实战训练

10次

40

优、良、中、及格、不及格

3

平时表现

出勤情况

10

两次未参加课程则无法获得学分

注：此表中内容为该课程的全部考核方式及其相关信息。

六、学生学习建议

理论配合实战训练进行学习，提高学生在商务数据分析与应用专业课程中数据采集和

处理问题的能力；

在条件允许的情况下，可以结合市场上常用的数据采集和处理工具，开发自发探索能力，更好地将专业所学和就业技能相结合，达到学以致用的目