网站屏蔽无用蜘蛛爬虫,减轻服务器压力!

2021年11月9日网站屏蔽无用蜘蛛爬虫,减轻服务器压力!已关闭评论
腾讯云正在大促:点击直达 阿里云超级红包:点击领取
免费/便宜/高性价比服务器汇总入口(已更新):点击这里了解

有很多分析网站导致不知名的爬虫有很多,这些垃圾蜘蛛频繁抓取我们的网站,对服务器压力大,特别是服务器配置不高的情况下,那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢?

网站屏蔽无用蜘蛛爬虫,减轻服务器压力!

 

一般来说,屏蔽蜘蛛抓取有三种方法:

  1. Robots屏蔽
  2. UA屏蔽
  3. IP屏蔽

我们一般都是通过Robots屏蔽这个方法,Robots 协议(也称为爬虫协议、机器人协议等)用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。

常见垃圾蜘蛛:

  • AhrefsBot:通过抓取网页建立索引库,并提供反向链接分析和服务。
  • dotbot:在线营销分析软件。
  • MJ12bot:英国搜索引擎。
  • Deusu:个人的项目一个搜索引擎。
  • grapeshot:这家公司好像也是分析网站用的。

屏蔽方式如下:

在robots.txt目录下添加下面的代码,添加之后再用百度站长平台检测一下robots是否正确。

  1. User-agent: AhrefsBot
  2. Disallow: /
  3. User-agent: dotbot
  4. Disallow: /
  5. User-agent: MJ12bot
  6. Disallow: /
  7. User-agent: DeuSu
  8. Disallow: /
  9. User-agent: grapeshot
  10. Disallow: /

各大常见蜘蛛:

百度蜘蛛:Baiduspider

谷歌蜘蛛:Googlebot

必应蜘蛛:bingbot

搜狗蜘蛛:Sogou web spider

360蜘蛛:360Spider

腾讯云正在大促:点击 https://2bcd.com/go/tx/进入最新活动页】领取无门槛代金券,附云服务器价格表,2核2G4M轻量应用服务器99元1年,新老用户都可以买,可以享受1次续费99元一年、135元15个月、三年560元,MySQL云数据库59元1年起,2核2G3M配置82元1年,2核4G5M配置188元一年、3年900元,4核8G12M轻量服务器880元15个月,8核16G配置1890元15个月,更多16核32G28M带宽和云服务器CVM标准型S5、GPU服务器、CVM标准型SA2租用优惠价格如下,可以 点此进入最新活动页 查看当前最新的优惠券和活动信息。还可以领下10元无门槛代金券:点此直达 阿里云限量超级红包:点击领取】5亿上云补贴和2088元满减代金券,阿里云服务器租用费用最新价格表【点击了解】,最便宜轻量应用服务器2核2G3M带宽82元1年,ECS云服务器2核2G3M带宽99元一年,ECS u1实例2核4G5M带宽优惠价格199元一年,香港30M带宽轻量服务器24元1个月、288元一年,4核8G服务器706元一年,ECS云服务器4核16G10M带宽30元1个月、90元3个月,云服务器8核32G10M带宽109元1个月、327元3个月。阿里云产品最高降价55%,点击 https://2bcd.com/go/aliyun/ 进入最新活动页了解。 腾讯云续费贵,一次性买3年/5年,免得续费贵。3年轻量 2核2G 4M 560元;3年轻量 2核4G 5M 3年900元,活动入口:点击前往(下拉到“爆品专区”即可看到)。 老用户享新人优惠的方法:用Qq登录、1人可注册3个新账号/用家人朋友的身份注册新号(点击注册新账号)。