全球主机交流论坛

标题: www.semrush.com 这个是什么蜘蛛.每天上千万爬 [打印本页]

作者: 奧巴马 时间: 2023-5-23 22:50
标题: www.semrush.com 这个是什么蜘蛛.每天上千万爬
匹配服务
导出事件 JSON
服务
自定义规则
采取的措施
阻止
规则集
default

…3cb94863
规则
oH-Yes-Yes

…e56f11c3
请求详细信息
Ray ID
***************
IP 地址
185.191.171.8
ASN
AS209366 SEMRUSH-AS
国家/地区
United Kingdom
用户代理
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
HTTP 版本
HTTP/1.1
方法
GET
主机
***********
路径
/
查询字符串
空查询字符串

作者: 御坂 时间: 2023-5-23 23:16
Semrushbot是流行的SEO工具Semrush的网络爬虫。

它的工作是抓取网络，为Semrush收集有关其找到的每个网站的SEO和营销数据。

作者: 奧巴马 时间: 2023-5-23 23:18

御坂发表于 2023-5-23 23:16
Semrushbot是流行的SEO工具Semrush的网络爬虫。

它的工作是抓取网络，为Semrush收集有关其找到的每个网站 ...

这个是主动爬的。还是有人把我网站添加到这个网络工具进行分析？

作者: 违法主机 时间: 2023-5-23 23:46
给竞争，直接屏了就完事.

欢迎光临全球主机交流论坛 (https://loc.528866.xyz/)