站长防采集技术，效果80%

温馨提示：手机扫码可阅读当前文章!
文章简介：网站被采集 应该是所有站长最烦的一件事了！先不说网站内容是否优质！单说服务器被搞崩，这个最烦！就比如很多小站，内容也是采集的，或者AI的，他根本不怕你复制他几篇内容！但是你上采集，让他网站打开变的很慢，甚至他不开！他绝对点起一根烟，打开宝塔...

网站被采集 应该是所有站长最烦的一件事了！

先不说网站内容是否优质！

单说服务器被搞崩，

这个最烦！

就比如很多小站，内容也是采集的，

或者AI的，他根本不怕你复制他几篇内容！

但是你上采集，让他网站打开变的很慢，甚至他不开！

他绝对点起一根烟，打开宝塔面板，然后看着标红的服务器图标，开始骂娘！

果不然，不是不报，时候未到！轮到采集我了！4核8G的服务器都被采集到打开巨慢！

经过多轮的斗智斗勇，服务器的负载状态终于流畅了！

讲一下思路吧！大佬们可以举一反三！效果更好的也请分享给我哈！

我们要做一个【蜜罐陷阱】也就是【隐藏诱饵链接】

比如：

<a href="/rinidaye" style="display:none;">Rinidaye Link</a>

监控访问此链接的IP并自动封禁。

Nginx配置：

# 蜜罐陷阱路径
location = /rinidaye {
    # 记录访问日志（单独文件便于分析）
    access_log /var/log/nginx/rinidaye.log;
    # 返回404或伪装成正常页面（避免采集器察觉异常）
    return 404;
}

添加隐藏诱饵链接

在网页的HTML代码中插入一个肉眼不可见但爬虫能抓取的链接。

代码：

<!-- 通过CSS隐藏链接，普通用户无法看到 -->

<a href="/rinidaye" style="display: none; opacity: 0; position: absolute; left: -9999px;">Rinidaye Link</a>

细节：

使用 display: none 或 opacity: 0 彻底隐藏链接。

避免在链接中写入有意义的内容（如“点击这里”），防止被逆向分析。

可随机生成多个隐藏链接路径（如 /rinidaniang123），提高迷惑性。

自动封禁访问蜜罐的IP

通过Shell脚本分析蜜罐日志，自动封禁触发陷阱的IP。

脚本示例 (block_rinidaye_ips.sh)：

#!/bin/bash
# 蜜罐日志路径
LOG_FILE="/var/log/nginx/rinidaye.log"
# 封禁IP列表
BLOCKED_IPS="/tmp/rinidaye_ips.txt"
# 提取过去5分钟内访问蜜罐的IP
awk -vDate="$(date -d '5 minutes ago' +[%d/%b/%Y:%H:%M:%S)" '($4 > Date)' $LOG_FILE | awk '{print $1}' | sort | uniq > $BLOCKED_IPS
# 遍历IP并封禁
while read ip; do
    # 检查是否已封禁
    if ! iptables -C INPUT -s $ip -j DROP 2>/dev/null; then
        iptables -A INPUT -s $ip -j DROP
        echo "[$(date)] 封禁IP: $ip" >> /var/log/rinidaye_block.log
    fi
done < $BLOCKED_IPS

配置宝塔计划任务

在宝塔面板中添加定时任务，定期执行封禁脚本。

操作步骤：

进入宝塔面板 → 计划任务 → 添加任务。

任务类型选择 Shell脚本。

执行周期设置为 每3分钟。

脚本内容粘贴上述 block_rinidaye_ips.sh 的代码。

保存并测试执行。

手动测试蜜罐链接：

curl -I http://你的域名/rinidaye

预期结果：返回 404 Not Found，且IP会被脚本封禁。

查看封禁日志：

cat /var/log/rinidaye_block.log

避免误伤：

确保蜜罐链接完全隐藏，正常用户才不会触发。

定期更换蜜罐路径，如：

/rinidaye-2025
/rinidaye-2026
/rinidaniang
/riniquanjia

或者多设置一些连接，随机显示！不要让那些老表找到规律！

定期清理蜜罐日志，已经封完ip的日志就没什么用了，把磁盘空间释放出来。

通过这种方式，阻断采集，且对正常用户无感知。

重点：把搜索引擎的ip段加到白名单！如百毒，斗狗，神婆等！

很久没在论坛看到技术贴了！那我来发一个！

抱怨环境，不如多些思路，然后埋头苦干！

会收录方面的大佬，我很想和你做朋友啊！