爬虫被封IP了怎么办？主流反爬机制与应对策略

"昨天还能跑的爬虫，今天突然全部返回403了。"

这是做数据采集时最常遇到的问题——被反爬机制拦截了。

网站有反爬是正常的——保护自己的数据和服务器资源。但对于合规的数据采集需求来说，理解反爬机制才能制定正确的应对策略。

主流反爬机制解析

IP频率限制

最基础的反爬手段：同一个IP在短时间内请求次数过多，直接封禁。

封禁方式通常有两种：

• 临时封禁：封几分钟到几小时，过了自动解除
• 永久封禁：拉入黑名单，换IP也没用（通过IP段封禁）

User-Agent检测

网站检查请求的User-Agent头——如果是 python-requests/2.28.0 这种明显的爬虫标识，直接拒绝。

Cookie和Session验证

要求访问者先获取Cookie（通常通过JS生成），没有正确Cookie的请求被视为非正常访问。

JavaScript渲染

页面内容不是直接在HTML里的，而是通过JavaScript动态加载。普通的HTTP请求只能拿到一个空壳页面，真正的数据在JS执行后才会出现。

验证码

识别到异常访问后弹出验证码：图形验证码、滑块验证码、点选验证码、行为验证（reCAPTCHA/极验）。

请求签名

请求URL或参数中包含加密签名（token），签名算法隐藏在混淆后的JavaScript代码里。没有正确签名的请求直接拒绝。

蜜罐陷阱

页面中隐藏了人类看不到但爬虫会抓取的链接。正常用户不会点击这些链接，但爬虫会跟进——一旦访问这些隐藏链接，立即标记为爬虫并封禁。

应对策略

IP层面

• 代理IP池：使用大量代理IP轮换，每个IP只用几次就切换
• IP质量很关键：住宅IP比机房IP更不容易被封，但价格也更高
• 分布式采集：把采集任务分散到多台机器上，每台机器用不同的IP

请求层面

• 随机User-Agent：每次请求使用不同的浏览器标识，模拟不同设备
• 请求间隔随机化：不要固定1秒一次，用2-5秒的随机间隔，模拟人类浏览节奏
• Referer和Headers完整：补全请求头，让请求看起来像正常浏览器发出的

渲染层面

• 无头浏览器：用Playwright或Puppeteer驱动真实浏览器引擎，JavaScript自然会执行
• 浏览器指纹伪装：修改WebGL、Canvas、时区等浏览器指纹，避免被识别为自动化工具
• 等待页面加载完成：不要页面一打开就抓数据，等动态内容加载完毕再提取

验证码层面

• 尽量避免触发：控制频率、伪装浏览器，从根源上减少验证码出现的概率
• 第三方打码平台：遇到验证码时调用打码服务识别（成本约0.01-0.05元/次）
• AI识别：用机器学习模型自动识别简单的图形验证码

合规底线

反爬技术是工具，怎么用决定了是否合规：

• 可以做：控制频率、使用代理IP、模拟浏览器——这是正常的技术手段
• 灰色地带：破解验证码——看具体场景和采集目的
• 不能做：绕过登录认证、攻击服务器、造成目标网站宕机

规则很简单：合理使用技术手段获取公开数据是合规的，但不能给目标网站造成负担，更不能突破安全边界。

反爬和爬虫是一场持续的博弈。没有一劳永逸的反爬方案，也没有万能的绕过方法。关键是理解对方的防御逻辑，选择合适的应对策略，并始终在合规的框架内操作。