- 1、本文档共11页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
内容网数据采集接口定义及自动处理流程
数据采集及自动处理流程
概述
本文主要描述内容网库对外定义的数据采集接口以及对于这些采集数据的自动处理流程。通过对现速网的分析,我们认为对于数据的采集主要是通过手工方式,爬虫爬取方式进行的,对于其他的采集方式,网信虽然有提及,但是我们在现在的速网后台没有发现相应的模块,希望网信相关人员通过对该文档的阅读,对于我们欠缺的采集接口做及时的补充。
对于我们下面所设计的接口,希望网信相关人员可以提供测试数据供我们测试,
采集接口定义
爬虫BT接口
待确认问题
因为在原有的速网后台中,我们没有发现该接口的设置界面,所以请相关人员就一下几个问题给与解答
1. 爬虫是否会去爬取BT的信息
2. 如果爬虫会爬取BT的信息,那么和HTTP爬取的信息是否一致?
3. Bt爬虫爬取的数据与Bt主动缓存解析的数据有什么区别
基于上述的问题,在没有获得网信相关人员答复的前提下,我们按照如下条件设计
1.爬虫会爬取BT信息
2.爬虫爬取的信息仅包含资源信息。
接口设计
调用方:爬虫系统
调用频率:当发现爬取到新的数据时实时调用或者每天定时调用
约束:确保每次发送的信息都是最新批次的数据
输入参数:
contents
content type=“bt”
name/name
infohash/infohash
protocol/protocol
format/format
cnt_size/cnt_size
dutarion/duration
data_rate/data_rate
quality/quality
language/language
url/url
/content
/contents
输入参数明细如下
18 FORMAT 文件格式 2 NAME 名称 用于完整性校验,判断去重 4 PROTOCOL 采集协议 5 LANGUAGE 语言( 6 CNT_SIZE 大小 7 QUALITY 质量 10 DATA_RATE 码流 11 INFOHASH Infohash值 判断去重 12 Duration 播放时长 13 URL 资源来源 完整性校验
输出:成功或者失败。
爬虫HTTP接口
待确认问题
爬虫爬取HTTP在线资源时,资源资料信息是否同时采集?
Http爬取的资源中 是否带有影片名称 ,集数?
基于上述的问题,在没有获得网信相关人员答复的前提下,我们按照如下条件设计
爬虫爬取HTTP在线资源时,资源和资料信息不是同时进行采集
接口设计
爬虫HTTP资源接口
contents
content type=“http”
name/name
infohash/infohash
protocol/protocol
format/format
cnt_size/cnt_size
dutarion/duration
data_rate/data_rate
quality/quality
language/language
url/url
/content
/contents
18 FORMAT 文件格式 2 NAME 名称 用于完整性校验,判断去重 4 PROTOCOL 采集协议 5 LANGUAGE 语言( 6 CNT_SIZE 大小 7 QUALITY 质量 10 DATA_RATE 码流 11 INFOHASH Infohash值 判断去重 12 Duration 播放时长 13 URL 资源来源 完整性校验
爬虫HTTP资料接口
documents
document
name/name
author/author
directors/directors
actors/actors
tv_name/tv_name
tv_host/tv_host
span/span
playdate/playdate
country/country
language/language
movietype/movi
文档评论(0)