计算传播学与网络爬虫-第四章.pptxVIP

第4章 八爪鱼软件介绍;01;软件介绍;八爪鱼软件秉持的宗旨是眼见即可采。不论是文字图片，还是贴吧论坛，八爪鱼支持所有网页的数据采集，能够满足各种采集需求。八爪鱼的主要功能包括模板采集、智能采集、自定义采集、多层级采集、登录后采集、自动数据格式化、定时、云采集等。;模板采集指的是使用八爪鱼官方提供的采集模板进行数据采集的功能。据统计，截止2020年5月，已有200余个采集模板，涵盖了本地生活、电子商务、媒体阅读、搜索引擎、社交平台、科研教育等方面。 使用模板采集数据时，只需输入网址、关键词、页数等参数，就能在几分钟内快速获取到目标网站数据。;随着网络采集越来越流行，很多网站也针对性地进行了大规模的反采集措施，其中封禁特定IP为主要手段。为了解决这一问题，八爪鱼采集可根据不同网站，提供多种网页采集策略与配套资源，可自定义配置，组合运用，自动化处理。从而帮助整个采集过程实现数据的完整性与稳定性。;针对不同用户的采集需求，八爪鱼可提供自动生成爬虫的自定义模式，可准确批量识别各种网页元素，还有翻页、下拉、ajax、页面滚动、条件判断等多种功能，支持不同网页结构的复杂网站采集，满足多种采集应用场景。;很多主流新闻、电商类的网站，里面包含一级商品列表页，也包含二级商品详情页，还有三级评论详情页面；不论网站有多少层级，八爪鱼都可以不限制层级的采集数据，满足各类业务采集需求。;八爪鱼内置了采集登录模块，只需配置目标网站的账号密码，即可用该模块采集到登录后的数据；同时八爪鱼还具备采集Cookie自定义功能，首次登录以后，可以自动记住cookie，免去多次输入密码的繁琐，支持更多网站的采集。;八爪鱼内置了采集登录模块，只需配置目标网站的账号密码，即可用该模块采集到登录后的数据；同时八爪鱼还具备采集Cookie自定义功能，首次登录以后，可以自动记住cookie，免去多次输入密码的繁琐，支持更多网站的采集。;简单几步点击设置，即可实现采集任务的定时控制，不论是单次采集的定时设置，还是预设某一天或每周、每月的定时采集，都可以同时对多个任务自??进行设置，根据需要对选择时间进行多重组合，灵活调配自己的采集任务。;云采集是指使用由八爪鱼提供的云服务集群进行数据采集。八爪鱼拥有5000+云服务器，7*24小时不间断运行。通过本地电脑将完成任务配置，测试通过后，启动云采集，将任务提交给八爪鱼的云服务集群采集。 不过限于成本，目前云采集功能需要旗舰版及以上版本才可使用。;八爪鱼的整体界面按照功能可以分为侧边工具栏和工作台两部分。进入八爪鱼客户端并登录后，可以清楚区分出左侧深色部分是侧边工具栏，右侧浅色的是工作台，如下图所示。;首页工作台主要包括输入框、热门采集模板和教程3部分。 输入框界面如下图所示，用于输入网址或者网站名称，开始数据采集。输入网址可以进入自定义采集模式，输入网站名称可以检索目前可用的模板，若有可用的模板则可以通过模板采集数据。;首页工作台主要包括输入框、热门采集模板和教程3部分。 热门采集模板界面如下图所示，是当前使用量最多的模板，点击网站模板图标，即可通过模板采集数据。;首页工作台主要包括输入框、热门采集模板和教程3部分。 教程界面如下图所示，是八爪鱼官方提供的软件使用教程的入口，点击对应的内容，就会自动打开计算机的默认浏览器，进入八爪鱼官方教程入口。;左侧工具栏提供新建、我的任务、快速筛选、团队协作、数据定制、人工服务、设置、工具箱、教程与帮助、关于我们等功能的入口。点击左侧工具栏右上方的图标，可以收缩左侧边栏；再次点击该图标，则可展开。展开与左侧边栏界面如右图所示。;点击下图所示的“新建”按钮可以选择新建自定义任务、模板任务、导入任务和新建任务组。选择自定义任务则会进入自定义采集模式；选择模板任务则会进入模板采集模式；选择任务组可以可添加新的任务组，便于任务比较多时，分组管理任务；选择导入任务则可以导入otd格式的自定义任务。;自定义任务和模板任务被创建和保存后，都会存储在“我的任务”中。如果“我的任务”界面为空，那么说明还没有创建任务。在“我的任务”界面，可以对任务进行多种操作，具体如下。 下所示的界面中，进行任务二次编辑（a）、多次启动采集（b）、按任务名搜索（c）、按条件筛选（d）。;在任务选中状态下，如下图所示，可进行删除、导出任务、移动到分组（包含移动到新建任务组）等操作。通过导出任务，可与别人分享自定义任务。但需要注意模板任务只可使用，不可导出。;如果任务启动采集并获取到数据，可通过下图所示的步骤，查看此任务采集到的历史数据。;任务可按最近编辑时间排序（便于查找最近编辑任务），也可按任务组排序（便于分组管理），如下图所示。;在按任务组排序时，鼠标移动到任务组后的空白区域，还可进行任务组重命名、删除、设置定时、设为默认任务组等操