高中信息技术粤教版课件：5-2数据的采集.pptx

BIG DATA5.2 数据的采集第五章SHU · JU · DE · CAI · JI”授课人：文常春 ONE数据采集的方法和工具01 数据采集的方法和工具系统日志采集法数据采集的基本方法：网络数据采集法其他数据采集法 数据采集的方法和工具1、系统日志采集法观看视频思考以下问题：2.系统日志采集数据的方法是怎样的？1.什么是系统日志？在信息系统中，系统日志是记录系统中硬件、软件和系统问题的信息文件。包括操作系统日志、应用程序日志、安全日志。在目标主机安装一个小程序，将其上的文本、应用程序、数据库等日志信息有选择地定向推送到日志服务器上进行存储、监控和管理。 数据采集的方法和工具2、其他数据采集法如：传感器采集数据手机、智能手环等内置了多种传感器 数据采集的方法和工具3、网络数据采集法指通过网络爬虫或网站公开API（应用程序接口）等方式从网站上获取数据信息。网络爬虫 数据采集的方法和工具请观看视频：《网络爬虫》思考如下问题：1.什么是网络爬虫？2.网络爬虫的应用有哪些？3.网络爬虫获取数据的流程是怎样的？4.Robots协议是什么？5.使用什么工具编写爬虫？ 数据采集的方法和工具1.什么是网络爬虫？又称网络蜘蛛、网络蚂蚁、网络机器人等。按照人们事先制定的爬取规则，可以代替人们自动地在互联网中进行数据的采集与整理。即：可以自动采集网络数据的程序 数据采集的方法和工具2.网络爬