#ClaudeBot

如何管理 AI 爬虫？GPTBot、ClaudeBot 等在 robots.txt 里的写法与取舍

梳理常见 AI 爬虫的分类与 User-agent，讲清放行与屏蔽对 AI 搜索可见度的影响，给出 robots.txt 写法示例，并说明 robots 只是约定、真正拦截需要服务器规则，以及如何在日志里统计 AI 爬虫。