全方位站长技能、SEO优化学习平台
当前位置:网站首页 > SEO笔记 > 正文

抓住这只营销蜘蛛:AhrefsBot蜘蛛封禁方法大揭秘!

作者:admin发布时间:2023-09-19分类:SEO笔记浏览:591评论:0


温馨提示:手机扫码可阅读当前文章!
文章简介:嘿伙计们,最近我的网站被一个叫AhrefsBot的蜘蛛大量访问。可把我烦死了,浪费了我不少资源,但对我来说,它就是个无用的小东西!好吧,别闹,AhrefsBot其实是个国外的搜索引擎蜘蛛,除了不断啃食你的网站外,对你来说并没有什么好处。咋回...

嘿伙计们,最近我的网站被一个叫AhrefsBot的蜘蛛大量访问。可把我烦死了,浪费了我不少资源,但对我来说,它就是个无用的小东西!好吧,别闹,AhrefsBot其实是个国外的搜索引擎蜘蛛,除了不断啃食你的网站外,对你来说并没有什么好处。


咋回事呢?这货就是个营销网站的爬虫,专门跑去分析你网站的链接信息,对于我们国内用户来说,完全就是个“废物”嘛。想要深入了解的话,可以瞅瞅他们英文版官网的介绍:https://ahrefs.com/robot。

抓住这只营销蜘蛛:AhrefsBot蜘蛛封禁方法大揭秘!  第1张

原来这就是个增加搜索流量的工具,可以研究你的竞争对手,监控你的利基市场。哎哟喂,Ahrefs会告诉你为啥你的对手排名那么高,还会帮你制定如何超越他们的行动方案。所以咱要是没这种需求,屏蔽它就行了。这玩意儿IP地址还挺多,所以还是建议用robots.txt来屏蔽吧。


刚说到robots.txt,这货有点像单挑咱的蜘蛛大军。看到了吧,只要遵循robots规则的蜘蛛或者爬虫,就可以用robots.txt来禁止它们。AhrefsBot自己也说会遵守这个规矩,但实际上呢,要是你一开始没添加这个规则,它啥时候才肯爬你的robots.txt文件来修改抓取规则都说不准。


所以按照规矩来,咱给出个封禁方法:

User-agent: AhrefsBot

Disallow: /


可以这样理解,你就是给AhrefsBot来个虚晃一枪,告诉它:“你可别往这儿爬,不然踩到我的地雷!”哈哈,小蜘蛛们听到后可得跑的远远的。喏,就这样,如果你觉得这文章有趣,希望对你能有所帮助,不用客气!

欢迎您,来自美国–弗吉尼亚州–劳登县–阿什本的朋友,您的IP:3.92.91.54,您的网络:Amazon数据中心


欢迎 发表评论:

  • 请填写验证码
SEO笔记排行
随机推荐
猜你喜欢

服务热线

1888888888

要发发发发发发

站长微信公众号

站长微信公众号

分享:

支付宝

微信