网站内容方可以拒绝AI抓取了：企业官网按页面分级的决策清单与日志自查步骤

据 IT之家 11 月 1 日消息的报道，OpenAI、谷歌、微软以及 Anthropic 宣布采用一项新标准，网站内容发布方可以借此拒绝 AI 抓取自己的内容，详见新浪热点小时报转载的这条报道。这类消息来自聚合转载，标准的具体名称、技术细节和生效方式，请以各家原始发布方的公告为准，本文不做展开。

对大多数企业官网来说，这条新闻真正的含义只有一句：“要不要让 AI 读我的网站”这件事，现在有了更正式的选择权。 选择权来了，随之而来的问题是：该选哪一边？是全部放开，全部拒绝，还是分情况？

站内已经有文章讨论过“训练爬虫和搜索爬虫要不要分开处理”的 robots.txt 策略，这篇不重复那个话题，而是换一个角度：把决策拆成一份清单，让没有技术背景的负责人也能一步一步做完。

一、先想清楚：你到底想要什么

拒绝或放开，没有标准答案，取决于网站的目的。先回答三个问题：

1. 这个网站靠什么赚钱？ 靠询盘获客的企业官网，核心诉求是“被更多人看到”；靠付费内容、会员资料、独家数据变现的站点，核心诉求是“内容不被白拿”。
2. 内容里有没有不愿意被复述的东西？ 比如定价细则、客户名单、内部流程、尚未公开的方案。
3. 你是否希望在 AI 回答里被提到？ 越来越多的用户会先问 AI 再搜索，如果你的服务范围、联系方式、报价区间完全不让 AI 读到，AI 在回答相关问题时就只能引用别人的描述。

把这三个问题的答案写在一张纸上，后面每一步都对照它来做。

二、把页面分成三级，不要“一刀切”

很多企业一上来就问“整站屏蔽还是整站放开”，其实更务实的办法是按页面类型分级：

这个分级有一个关键点：“封闭级”不能指望爬虫自觉。 任何声明类的控制手段，本质上都是“请君自便”的君子协定，真正敏感的内容必须放在登录之后。

三、搞清楚几种控制手段的区别

企业站常见的几个手段，作用并不一样，很容易混用：

• robots.txt：写在网站根目录的文本文件，用来告诉爬虫“哪些路径可以抓、哪些不要抓”。它是行业里通用的声明方式，但遵守与否取决于爬虫本身。
• 页面级的 meta 标签或响应头：针对单个页面声明“不要索引”“不要摘录”等，适合处理个别页面而不是整个站点。
• llms.txt 这类给大模型看的说明文件：思路是主动告诉 AI“我们是谁、重要页面在哪里、哪些内容适合引用”，更偏“引导”而不是“拒绝”。是否被采用，同样取决于对方。
• 服务器层面的访问控制：比如对特定来源限频、要求登录。这是真正“拦得住”的手段，但需要技术配合。
• 新闻里提到的新标准：据报道是几家公司共同采用的拒绝方式，以官方公告的具体做法为准。

选择时记住一个原则：声明类手段适合表达立场，访问控制类手段才能保护内容。 两者可以叠加，但不要把声明当成防护。

四、从服务器日志里自查：现在有哪些 AI 在读你的网站

决策不能凭感觉，应该先看数据。服务器的访问日志里，爬虫通常会在 User-Agent 里留下名字。自查步骤如下：

1. 取近两到四周的访问日志，如果有 CDN 或面板自带的日志分析，也可以直接用。
2. 按 User-Agent 筛选常见的 AI 相关爬虫名称，统计每天的访问次数。不同厂商的名称各不相同，建议以各家官网公布的爬虫说明为准，不要凭记忆写。
3. 看它们抓了哪些路径：是集中在首页和服务页，还是在大量翻文章、翻标签页？
4. 看响应状态：200 表示成功，301 通常是协议或域名跳转，404 表示链接已经失效。如果 AI 爬虫大量撞到 404，说明你有一批对外失效的旧链接，可以先修。
5. 和搜索引擎的抓取量对比：把传统搜索爬虫与 AI 类爬虫放在同一张表里。很多中小站点会发现，AI 类爬虫的访问量并不比搜索爬虫少。
6. 识别冒充者：只凭 User-Agent 无法判断真假，必要时可以用厂商公布的 IP 段做校验。

这一步做完，你会有一张“谁在读、读了什么、读得顺不顺”的表，后面的决策就有了依据。

五、决策清单：逐条打勾

拿着前面的分级和日志数据，逐条回答：

关于开放

• [ ] 首页、服务页、联系方式页是否允许被 AI 抓取？（倾向“是”）
• [ ] 这些页面里的公司名称、地址、电话、服务范围是否准确、一致？
• [ ] 常见问题是否写成了清楚的“问题 + 回答”形式，方便被引用？
• [ ] 文章页是否署名、标注更新时间，信息是否有出处？

关于限制

• [ ] 哪些页面含有不愿被复述的内容？列出清单。
• [ ] 这些页面是用“声明”还是用“登录/权限”来保护？敏感内容要用后者。
• [ ] 下载资料、报价单是否放在表单之后？
• [ ] 测试页、后台入口是否做了访问限制，而不是只写在 robots.txt 里？（把路径写进 robots.txt，反而等于公开告诉别人它在哪里。）

关于执行

• [ ] 修改 robots.txt 前，是否备份了旧文件？
• [ ] 修改后是否用在线工具或手动访问检查语法没写错？一个符号写错，可能让整站被误屏蔽。
• [ ] 修改后一到两周，是否复查日志，确认变化符合预期？
• [ ] 是否把这次决策和理由记录下来，写明日期和负责人？

六、几种常见企业类型的参考倾向

以下是倾向，不是定论，实际取舍还是以你的业务目标为准：

• 靠询盘获客的服务型企业（建站、装修、法务、培训等）：整体倾向放开，重点让公开信息准确，把成本较高的方案细节放在咨询之后。
• 靠内容变现的资讯、课程、数据类站点：倾向对核心内容分级，免费部分放开做曝光，付费部分用登录保护。
• 有大量原创图片或作品的设计、摄影类站点：可以对图片目录单独设置策略，同时在文字页保持开放。
• 政务、教育等有合规要求的机构：先看上级单位的规定，再决定。

七、别忽视另一半：被引用要靠“值得引用”

决定“让不让读”之后，还有一件更重要的事：内容本身要值得被引用。 即使完全放开，如果页面信息含糊、没有结构、几年不更新，AI 也不会愿意引用。放开之后可以同步做这些：

• 标题直接写清楚“谁、做什么、给谁用”；
• 每篇文章开头用两三句话给出结论，再展开；
• 数字、价格、周期等关键信息用表格或清单列出来；
• 页面底部保持联系方式一致，避免不同页面写出不同的电话和地址；
• 定期复查旧文章，过时的信息及时更新或下线。

八、复盘节奏：不要“一次设置，永远不管”

AI 相关的规则和标准还在快速变化，今天合适的设置，几个月后未必合适。建议这样安排：

• 每月：看一次日志，核对 AI 类爬虫的访问量和被访问的页面。
• 每季度：回头看分级是否需要调整，比如新上线了付费栏目、新增了资料下载。
• 遇到大的行业消息时：像这次的新标准，先看原始公告，再决定是否调整，不要被二手解读带着走。

九、常见误区

1. 以为写了 robots.txt 就等于加了锁。 它只是声明，不是门禁。
2. 整站一刀切屏蔽。 屏蔽之后，AI 在回答相关问题时可能完全没有你的信息，对获客型企业不一定划算。
3. 整站完全不管。 放开不等于不管理，至少要让对外公开的信息准确、一致、及时更新。
4. 只看新闻不看自己的日志。 不同网站的爬虫访问情况差异很大，别人的结论未必适用于你。
5. 改完不复查。 一个符号写错就可能误伤搜索引擎的正常抓取，修改后一定要检查。

小结

新标准带来的是选择权，不是标准答案。对企业官网来说，可以按这个顺序走：先明确业务目标，再把页面分成开放、谨慎、封闭三级，然后用日志了解现状，再用清单逐项决策、定期复盘。声明类手段表达立场，访问控制保护内容，两者别混为一谈。

如果你不确定自己网站的 robots.txt、页面结构和日志应该怎么看，也可以让建站团队帮忙梳理。广州万户网络科技在做企业官网时，会把爬虫策略、页面结构和内容更新节奏放在一起评估，官网套餐 1280 元起，可按需求咨询。

本文涉及的新闻为聚合转载，具体信息以原始发布方为准；技术方案请结合自身站点实际情况评估。