大数据采集与分析技术-教案 -第2章 数据的采集和存储.docx

《大数据采集与分析技术》配套教学教案

第2章

课时内容

数据的采集和存储

授课时间

课时

4

教学目标

掌握Java采集环境、MariaDB库表及账户权限配置，理解HTTP、网页结构和网络数据采集流程。

能够配置Java开发工具，分析网页结构，使用Jsoup采集天气信息，并通过JDBC将数据写入MariaDB。

培养遵守网络数据采集规范、保护数据安全、规范授权和审慎验证采集结果的数据伦理意识。

教学重点

天气信息采集准备；MariaDB库表与权限配置；HTTP请求、Jsoup解析及JDBC数据入库。

教学难点

网页结构与目标字段的准确映射；采集程序、数据库连接和字符编码的协同；异常数据的检