网站屏蔽无用蜘蛛爬虫,减轻服务器压力!

2021年11月9日网站屏蔽无用蜘蛛爬虫,减轻服务器压力!已关闭评论

云产品最新活动点击抢腾讯云3/5年服务器限量秒杀名额续费贵、升级贵,建议选配置高、长期的云产品PS:幻兽帕鲁十分火热:点击了解阿里云帕鲁服务器自建教程点击了解腾讯云帕鲁服务器自建教程

有很多分析网站导致不知名的爬虫有很多,这些垃圾蜘蛛频繁抓取我们的网站,对服务器压力大,特别是服务器配置不高的情况下,那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢?

网站屏蔽无用蜘蛛爬虫,减轻服务器压力!

 

一般来说,屏蔽蜘蛛抓取有三种方法:

  1. Robots屏蔽
  2. UA屏蔽
  3. IP屏蔽

我们一般都是通过Robots屏蔽这个方法,Robots 协议(也称为爬虫协议、机器人协议等)用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。

常见垃圾蜘蛛

  • AhrefsBot:通过抓取网页建立索引库,并提供反向链接分析和服务。
  • dotbot:在线营销分析软件。
  • MJ12bot:英国搜索引擎。
  • Deusu:个人的项目一个搜索引擎。
  • grapeshot:这家公司好像也是分析网站用的。

屏蔽方式如下:

在robots.txt目录下添加下面的代码,添加之后再用百度站长平台检测一下robots是否正确。

  1. User-agent: AhrefsBot
  2. Disallow: /
  3. User-agent: dotbot
  4. Disallow: /
  5. User-agent: MJ12bot
  6. Disallow: /
  7. User-agent: DeuSu
  8. Disallow: /
  9. User-agent: grapeshot
  10. Disallow: /

各大常见蜘蛛:

百度蜘蛛:Baiduspider

谷歌蜘蛛:Googlebot

必应蜘蛛:bingbot

搜狗蜘蛛:Sogou web spider

360蜘蛛:360Spider

云产品最新活动点击抢腾讯云3/5年服务器每日限量秒杀名额云产品续费贵,推荐选择【新品专区】2核4G5M服务器3年756元升级贵,建议选配置高的免备案服务器2核2G20M-270元/1年点击前往选购更多规格配置的国内外轻量服务器请点击进入轻量服务器专场活动点击进入跨境电商服务器活动点击进入优惠全站搜

云服务器常见问题可以点击查看 腾讯云产品文档 阿里云产品文档 华为云产品文档 了解更多。

腾讯云服务器今日限时秒杀:超便宜,点此了解!

腾讯云大额优惠券限量每天领取:点此直达

2核2G4M服务器540元/3年:点此直达

2核4G5M服务器199元/1年:点此直达

2核4G5M服务器756元/3年:点此直达

4核8G12M服务器 529元15个月:点此直达

8核16G18M服务器1668元/15个月:点此直达

2核2G CVM服务器S5 313元/15个月:点此直达

2核4G CVM服务器S5 748元/15个月:点此直达

4核8G CVM服务器S5 1437元/15个月:点此直达

8核16G CVM服务器S5 3048元/15个月:点此直达

注意:以上特价轻量服务器限制条件为“产品首单特惠”,如果你的腾讯云账号已经是老用户,建议重新注册一个腾讯云账号,如果你是新用户符合条件,那么无脑入,这个CPU内存带宽配置,价格确实便宜,值得买!

阿里云价格最高降47%:点此了解!

华为云秒杀活动来了:点此了解!

宝塔面板,一键部署及管理服务器,送你¥10850礼包:点此领取!