2024侵蚀您的利润-网络爬虫程序对电商行业有何影响报告 .docxVIP

第10卷，第3期

侵蚀您的利润网络爬虫程序对电商行业有何影响

互联网现状/安全性

目录

3 爬虫程序：良性、恶意和中性

4 报告的关键见解

5 良性爬虫程序与恶意爬虫程序的对比

6 抓取类爬虫程序的基本概念

6 抓取类爬虫程序引起关注，客户开始警觉

9 网络内容抓取的一般附带后果

9 出租抓取类爬虫程序：第三方网络内容抓取服务

11 AI僵尸网络的抓取流程

14 案例研究：网络内容抓取检测解决方案的优势

16 增强防护，抵御恶意爬虫程序

19 合规考虑因素

20 结论

21 方法

22 致谢名单

No

November2023

January2023

February2023

March2023

April2023

May2023

June2023

July2023

September2023

August2023

October2023

December2023

January2024

February2024

March2024

您知道吗？超过一半的网络流量都来自于爬虫程序。特别是商业垂直行业，由于该行业依赖Web应用程序和资产创收，因此他们受高风险爬虫程序流量的影响最大（图1）。尽管我们常常听到爬虫程序在不断进化，但当前的电子商务类企业特别关注的是网络抓取类爬虫程序，因为它们的经济影响往往隐藏在表面之下，与其他类型的爬虫程序截然不同。随着人工智能(AI)僵尸网络和无界面浏览器技术的崛起，抓取类爬虫程序越来越难以检测，也就变得极其难以躲避。举个例子，Akamai的一家电商客户在不知不觉中拦截的高达99%的高风险流量就源自于抓取类爬虫程序。

每月的爬虫程序请求数量：三大垂直行业2023年1月1日–2024年3月31日

Commerce HighTechnology FinancialServices

800B

700B

Bo

BotRequestCount

500B

400B

300B

200B

100B

0B

图1：商业是收到爬虫程序请求数量最多的垂直行业，从2023年初至2024年第一季度，全球商业垂直行业的爬虫程序流量呈现出上升趋势

因此，在这份《互联网现状》(SOTI)报告中，我们将聚焦于这些爬虫程序及其操纵者的演变与专业化趋势。尽管爬虫程序的存在由来已久，但我们依然观察到各种非法团伙在利用这种手段来实施犯罪攻击、欺诈活动以及窃取竞争情报。最近，我们观察到爬虫程序的使用呈现普遍增长的趋势，其中抓取类爬虫程序对企业造成的负面影响正在加剧。本报告旨在提供技术见解和应对策略，以加深整个商业行业对这一日益严峻问题的认识。

侵蚀您的利润：网络爬虫程序对电商行业有何影响|第10卷，第3期 2024年| 2

爬虫程序：良性、恶意和中性

每家以电商为主的大型企业都面临着爬虫程序带来的挑战，这些爬虫程序不断演变进化，变得更加专业化，以实现其攻击目的。在商业垂直行业中，存在着各种各样的爬虫程序，它们各自承担着不同的任务。为了方便理解，可以将它们分为三类：良性爬虫程序、恶意爬虫程序和中性爬虫程序。良性爬虫程序有助于客户找到您的网站。恶意爬虫程序则出于恶意目的从您的网站抓取内容。中性爬虫程序往往比较活跃，但仍然是合法的。它们实际上是良性爬虫程序的一个子类（比如频繁发送ping回显请求的合作伙伴爬虫程序或频繁发出调用请求的程序API）。

考虑到聊天机器人和搜索引擎类爬虫程序所带来的诸多益处，比如回答用户的基本问题和提供能够返回更准确搜索结果的网站内容，我们希望在控制IT成本的同时，能够优化这类爬虫程序的性能。对于那些恶意爬虫程序，比如未经授权尝试访问客户帐户以进行帐户接管的撞库爬虫程序，我们希望在不损害整体客户体验的前提下采取防范措施。近期，网络抓取类爬虫程序已成为亟待解决的一大难题，它们会导致收入减少、忠诚度下滑，以及成本不断攀升。

抓取类爬虫程序是一种用于直接从互联网的网站上提取数据和内容的僵尸网络，它非常特别。网络抓取类爬虫程序引起了人们的高度关注，因为它们的运作方式、对业务的影响以及检测难度都有别于其他爬虫程序。网络抓取类爬虫程序的应用场景也多种多样，具体取决于企业和爬虫程序操纵者如何利用这些爬虫程序收集的信息来创收。不论具体的目标为何，抓取类爬虫程序都会导致收入减少、IT成本攀升以及整体客户体验降低。

在这份SOTI报告中，我们探讨了内容抓取对电商行业的影响，并分析了为何相关的业务负责人（如数字、营销、品牌、财务、风险和安全等领域）应共同关注并采取措施来遏制滥用的抓取类爬虫程序。为了更好地摸清这些影响，我们需要深入了解网络抓取类爬虫程序