www.semrush.com 这个是什么蜘蛛.每天上千万爬

奧巴马

匹配服务
导出事件 JSON
服务
自定义规则
采取的措施
阻止
规则集
default

…3cb94863
规则
oH-Yes-Yes

…e56f11c3
请求详细信息
Ray ID
***************
IP 地址
185.191.171.8
ASN
AS209366 SEMRUSH-AS
国家/地区
United Kingdom
用户代理
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
HTTP 版本
HTTP/1.1
方法
GET
主机
***********
路径
/
查询字符串
空查询字符串

违法主机

给竞争，直接屏了就完事.

奧巴马

御坂 发表于 2023-5-23 23:16
Semrushbot是流行的SEO工具Semrush的网络爬虫。

它的工作是抓取网络，为Semrush收集有关其找到的每个网站 ...

这个是主动爬的。还是有人把我网站添加到这个网络工具进行分析？

御坂

Semrushbot是流行的SEO工具Semrush的网络爬虫。

它的工作是抓取网络，为Semrush收集有关其找到的每个网站的SEO和营销数据。