现在有很多的未知蜘蛛，总是频繁抓取我们的网站，特别是服务器配置不高的情况下，那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢?
一般来说，屏蔽蜘蛛抓取有三种方法：
- Robots屏蔽
- UA屏蔽
- IP屏蔽
我们一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面可以抓取，哪些页面不能抓取。
常见垃圾蜘蛛：
- AhrefsBot：通过抓取网页建立索引库，并提供反向链接分析和服务。
- dotbot：在线营销分析软件。
- MJ12bot：英国搜索引擎。
- Deusu：个人的项目一个搜索引擎。
- grapeshot：这家公司好像也是分析网站用的。
屏蔽方式如下：
在robots.txt目录下添加下面的代码，添加之后再用百度站长平台检测一下robots是否正确。
- User-agent: AhrefsBot
- Disallow: /
- User-agent: dotbot
- Disallow: /
- User-agent: MJ12bot
- Disallow: /
- User-agent: DeuSu
- Disallow: /
- User-agent: grapeshot
- Disallow: /
各大常见蜘蛛：
百度蜘蛛：Baiduspider
谷歌蜘蛛：Googlebot
必应蜘蛛：bingbot
搜狗蜘蛛：Sogou web spider
360蜘蛛：360Spider
腾讯云正在大促：【点击 https://2bcd.com/go/tx/进入最新活动页】领取无门槛代金券，附云服务器价格表，2核2G4M轻量应用服务器99元1年，新老用户都可以买，可以享受1次续费99元一年、135元15个月、三年560元，MySQL云数据库59元1年起，2核2G3M配置82元1年，2核4G5M配置188元一年、3年900元，4核8G12M轻量服务器880元15个月，8核16G配置1890元15个月，更多16核32G28M带宽和云服务器CVM标准型S5、GPU服务器、CVM标准型SA2租用优惠价格如下，可以 点此进入最新活动页 查看当前最新的优惠券和活动信息。还可以领下10元无门槛代金券：点此直达。
阿里云限量超级红包：【点击领取】5亿上云补贴和2088元满减代金券，阿里云服务器租用费用最新价格表【点击了解】，最便宜轻量应用服务器2核2G3M带宽82元1年，ECS云服务器2核2G3M带宽99元一年，ECS u1实例2核4G5M带宽优惠价格199元一年，香港30M带宽轻量服务器24元1个月、288元一年，4核8G服务器706元一年，ECS云服务器4核16G10M带宽30元1个月、90元3个月，云服务器8核32G10M带宽109元1个月、327元3个月。阿里云产品最高降价55%，点击 https://2bcd.com/go/aliyun/ 进入最新活动页了解。
腾讯云续费贵，一次性买3年/5年，免得续费贵。3年轻量 2核2G 4M 560元；3年轻量 2核4G 5M 3年900元，活动入口：点击前往。（下拉到“爆品专区”即可看到）。
老用户享新人优惠的方法：用Qq登录、1人可注册3个新账号/用家人朋友的身份注册新号（点击注册新账号）。
