八爪鱼采集器API使用方法以及常见问题.pptxVIP

八爪鱼 . 让数据触手可及！;API开发者文档分享;一、API简介 二、应用场景以及典型客户 三、详细介绍 四、常见问题; API（Application Programming Interface），中文称应用编程接口。在无需访问源码和理解工作机制情况下使用某软件。 目前八爪鱼API接口分为通用接口与增值接口，通用接口可以完成数据导出，增值接口可以完成程序自动化，原理上来说，只要客户端可以改的，API都可以实现。 一、目的： 1.导出数据（通用API） 2.完成程序自动化 二、个人总结： 1.缓解、变更在线导出数据方式 2.希望更多用户基于八爪鱼做数据提取，然后建立自己的平台或应用; 相对客户端功能，API功能的目标用户是配有编程人员的个人、数据团队、公司或企业等。 应用场景： 一、数据导出： 市面上未有任何软件或应用支持在线导百万级数据，所以如果用户再导出百万级数据时，在 得知用户是编程人员或拥有编程人员的团队，尽量推荐他们使用API。 二、程序自动化： 部分客户会根据八爪鱼做实时抓取，来给自家平台每天更新数据，调用增值接口完成任务启 动、查询、导出、修改参数等 典型客户： 私有云-希酌：基于八爪鱼做了一个刑事诉求案件查询平台，有实时采集部分，用API完成程 序自动化 私有云-蓝汐、私有云-微屏互动：基于八爪鱼做类似“今日头条”的新闻采集，API完成数据入 库 ;一、通用接口： 1）获取token 2）分页获取任务所有数据 3）分页获取任务未导出数据 4）分页获取任务最近一次启动时采集到的数据 5）获取任务组 6）获取任务组内任务ID 二、增值接口： 1）启动任务 2）停止任务 3）查看任务运行状态 4）修改任务采集流程中的配置参数 5）获取任务采集流程中的配置参数 备注：原理上来说，只要客户端可以改的，增值API都可以实现 ;一、参数三种存放形式： 1)URL参数： 通过这些参数，定位到一个确切的资源 例如： /api/alldata?taskid={taskid}{pageindex}=1{pagesize}=2 其中taskid、pagesize、pageindex都是URL参数 2)请求头Headers: 用于指定客户端身份、接受信息类型、可接受内容编码，此类参数以键值形式存放 例如： Accept: application/json Authorization:bearer {access token} 3)Body参数： 即表单参数，通过表单参数完成验证、提交信息等 content-type:内容类型 指你提交的表单是何种格式，例如：八爪鱼获取token的格式是application/x-www-form-urlencoded，微信的表单格式是text/xml 例如： 注意事项： 想要服务器响应你的请求，参数格式必须严格按照文档存放，经常出现用户在测试时将URL参数以 ;二、细枝末节的问题 1)bearer {access token} 在Authorization:bearer {access token}这个键值中，bearer后面是要跟空格的，长期有用户因为文档的原因，在测试接口时是bearer{access token} 2)关于大括号{} 由于C#的format： format(“username={0}password={1}grant_type=password”,Demousername,Demopassword) 经常有用户在URL参数也会把大括号带进去进行传参 3)修改任务采集中的参数 POST表单参数：{ taskid:{taskId}, name:{parmName}, value:{parmValue} } 这里的表单参数必须换行 三、请求方式： Get、Post，目前所有接口调用都有此两种形式组成 四、Json格式： 一种数据交换格式，是以一种键值对的形式保存数据，方便处理和反序;The End