屏蔽无用蜘蛛，减轻服务器压力

现在有很多的未知蜘蛛，总是频繁抓取我们的网站，特别是服务器配置不高的情况下，那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢?

一般来说，屏蔽蜘蛛抓取有三种方法：

1. Robots屏蔽
2. UA屏蔽
3. IP屏蔽

我们一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面可以抓取，哪些页面不能抓取。

常见垃圾蜘蛛：

• AhrefsBot：通过抓取网页建立索引库，并提供反向链接分析和服务。
• dotbot：在线营销分析软件。
• MJ12bot：英国搜索引擎。
• Deusu：个人的项目一个搜索引擎。
• grapeshot：这家公司好像也是分析网站用的。

屏蔽方式如下：

在robots.txt目录下添加下面的代码，添加之后再用百度站长平台检测一下robots是否正确。

各大常见蜘蛛：