大佬们如何屏蔽完全谷歌蜘蛛

189902m · 发表于 2022-1-11 17:26:32

用VIR小鸡做了个小站,谷歌蜘蛛疯狂趴,负载状态全满，飘红，硬盘都日志被占满了，用了宝塔防火墙屏蔽IP,效果不好，我想完全屏蔽海外IP，但是套了CF,网站无法用了，大佬有什么方法，或都这方面文章参考一下

hins · 发表于 2022-1-12 14:35:38

一键屏蔽海外ip

Anoneko · 发表于 2022-1-11 19:09:01

首先验证下是不是真谷歌蜘蛛

micms · 发表于 2022-1-11 19:07:26

有蜘蛛爬还不好吗

六翼天使 · 发表于 2022-1-11 18:45:55

谷歌站长助手有屏蔽？

围观者 · 发表于 2022-1-11 18:41:11

xvm 发表于 2022-1-11 17:38
搜成403了，304真的是好东西，谢大佬

我以前就发帖说过这个问题

https://loc.528866.xyz/thread-641587-1-1.html

返回304真的不影响搜索引擎，自身实验过了，并且现在一直在用

citywar · 发表于 2022-1-11 18:01:27

去google举报自己。。带。。内容

junhan · 发表于 2022-1-11 17:54:39

套了CF的话，你CF后台防火墙添加，用户代理，包含 Google就可以了

G.K.D · 发表于 2022-1-11 17:39:13

套了 Cloudflare？在 Cloudflare 防火墙里添加个 UA 规则拒绝不就行啦。。。

xvm · 发表于 2022-1-11 17:38:55

围观者发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次，以后再访问这链接，直接返回304，不经php,不查询mysql, 在nginx层就 ...

搜成403了，304真的是好东西，谢大佬

		自动登录	找回密码
密码			注册