智能反爬系统用户手册.pdf

博雅创智（天津）科技有限公司 智能反爬系统 用户手册 智能反爬系统 用户手册 博雅创智（天津）科技有限公司 2018 年1 月 1 博雅创智（天津）科技有限公司 智能反爬系统 用户手册 目录 1 功能结构图 3 2 系统登陆4 3 仪表盘 5 4 核心功能 6 4.1 报表管理 6 4.2 爬虫事件明细 7 4.3 监控策略管理 7 4.4 告警管理8 4.5 访客情报管理9 4.6 日志管理9 4.7 开发管理 10 2 博雅创智（天津）科技有限公司 智能反爬系统 用户手册 本文档主要说明“智能反爬系统”主要功能及逻辑架构，帮助用户理解平台 功能结构，指导用户全面熟悉和使用本系统。 本系统针对平衡礼貌策略、代理 IP 伪装、拟人操作这些不断进化的高仿真 恶意机器行为，以设备指纹、访问流量，系统日志为基础，利用大数据模型、机 器学习等技术完成用户画像、行为分析等工作，识别爬虫，拟定规则，在保证识 别率的基础之上，降低误伤率，更进一步保护用户公开数据，防止商业风险发生。 1 功能结构图 图1-1 系统功能结构图 系统主要分为实时/离线分析两种方式：主要针对负载、业务场景以及数据 量进行分治。 为保证系统的可扩展性，通过应用开发接口实现第三方开发者基于系统API 及数据结构的二次开发。 3 / 10 2 系统登陆 图2-1 用户登陆 本系统使用预设系统管理用户登陆，不可注册。 增加用户或修改密码请联系相关运维人员。 由于此系统为管理运维人员使用，因此不可提供带有风险的开放用户使用 模式。 4 / 10 3 仪表盘 图3-1 综合看板 登陆系统后可查看反爬系统的整体工作情况。 顶部显示应用系统的访问情况：如PV、UV、VV，并给出爬虫量及安全评级。 界面中部以图表形式呈现IP 的地域分布情况，爬虫事件类型分布。 最下方以列表形式实时刷新预警信息及重点关注的事件报告。 5 / 10 4 核心功能 4.1 报表管理 图4.1-1 当日报表 图4.1-2 自定义报表配置 当日报表统计各类爬虫事件的TOP N 列表，并可针对具体事件导出详细报告。 自定义报表可设置自动导出频率及统计项开关。 6 / 10 4.2 爬虫事件明细 图4.2-1 爬虫事件明细 查看24 小时/7 日内/30 天内的爬早活动情况，包括IP、地域、URL 及评级。 也可以自定义查看时段。 4.3 监控策略管理 图4.3-1 监控策略配置 可针对IP、报文头部、请求方式进行策略设置。