数据清洗 第3章Web数据抽取.pptx

第3章Web数据抽取

数据抽取指把数据从数据源读出来，一般用于从源文件和源数据库中获取相关的数据，也可以从Web数据库中获取相关数据。

目前增量数据抽取中常用的捕获变化数据的方法主要有以下五种1）触发器方式2）时间戳方式3）全表删除插入方式4）全表对比方式5）日志表方式

通过Web数据集成可以实现对Web数据的有效整合，为大数据分析提供信息源支持。

一般来讲，目前Web数据抽取的实现有以下几步：第一步，确立采集目标，即由用户选择目标网站。第二步：提取特征信息，即根据目标网站的网页格式，提取出采集目标数据的通性。第三步：网络信息获取，即利用工具自动的把页面数据把存到