
腾讯云秒杀0.5折起:点击了解 | 阿里云最高降47%:点击了解 |
腾讯云优惠券:点击领取 | 阿里云优惠券:点击领取 |
腾讯云老用户换QQ登陆,同实名享新人特价 | 华为云优惠券:点击领取 |

有很多分析网站导致不知名的爬虫有很多,这些垃圾蜘蛛频繁抓取我们的网站,对服务器压力大,特别是服务器配置不高的情况下,那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢?
一般来说,屏蔽蜘蛛抓取有三种方法:
- Robots屏蔽
- UA屏蔽
- IP屏蔽
我们一般都是通过Robots屏蔽这个方法,Robots 协议(也称为爬虫协议、机器人协议等)用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。
常见垃圾蜘蛛:
- AhrefsBot:通过抓取网页建立索引库,并提供反向链接分析和服务。
- dotbot:在线营销分析软件。
- MJ12bot:英国搜索引擎。
- Deusu:个人的项目一个搜索引擎。
- grapeshot:这家公司好像也是分析网站用的。
屏蔽方式如下:
在robots.txt目录下添加下面的代码,添加之后再用百度站长平台检测一下robots是否正确。
- User-agent: AhrefsBot
- Disallow: /
- User-agent: dotbot
- Disallow: /
- User-agent: MJ12bot
- Disallow: /
- User-agent: DeuSu
- Disallow: /
- User-agent: grapeshot
- Disallow: /
各大常见蜘蛛:


8核16G CVM服务器S5 2792元/15个月:点此直达
注意:以上特价轻量服务器限制条件为“产品首单特惠”,如果你的腾讯云账号已经是老用户,建议重新注册一个腾讯云账号,如果你是新用户符合条件,那么无脑入,这个CPU内存带宽配置,价格确实便宜,值得买!


