Content Signals 是表达内容使用偏好的框架，帮助站长区分搜索索引、AI 回答输入与模型训练等用途。它回答的是希望内容如何被使用；抓取控制回答的是哪些请求实际可以进入网站。把这两个问题分开，才能避免一边希望文章被发现，一边在访问层误拦相关请求。

三个用途不能合并成一个“允许 AI”

Cloudflare 于 2025 年 9 月发布的公告介绍了 Content Signals。它提供三个基本信号：search 对应搜索索引及链接、摘要等搜索结果；ai-input 对应将内容用作 AI 实时回答的输入；ai-train 对应模型训练或微调。其中 search 不包含生成式搜索摘要，不能用传统搜索的许可直接推导其他用途的许可。

对公开教程、原创研究和客户案例，团队可能有不同的用途偏好。决定规则前，先列出哪些内容希望被发现，哪些材料有授权限制，哪些内容根本不应该公开。不要为了测试抓取能力上传客户文档；已经公开的敏感内容，也不能靠新增一个信号完成撤回。

这些选择属于内容经营决策。若还没有区分搜索访问、回答使用和商业转化，可先看GEO 与 SEO 的区别，明确自己希望观察的结果，再选择配置，而不是直接复制别人的规则。

偏好声明和实际拦截各有什么作用

robots.txt 可以表达对自动访问的规则，但遵守依赖客户端。Content Signals 增加用途偏好的表达，并不会让所有抓取程序自动失去访问能力。真正执行访问限制还需要边缘规则、服务器权限或其他访问控制。声明允许也不意味着对方一定会访问，更不意味着其产品一定引用这篇文章。

按照AI Crawl Control 的爬虫管理文档，站长可以查看相关活动并对特定爬虫选择允许或拦截。这里需要核对识别方式与账号能力；仅凭一个可伪造的请求名称，无法证明访问者身份。普通终端请求适合检查响应，不足以证明某家服务的真实爬虫一定能通过。

第一步：写出一张用途决策表

先把公开内容分为教程、产品说明、原创报告等有限类别，再填写希望允许的用途、原因和负责确认的人。例子：一份公开使用说明可能希望用于回答用户问题，而一份有第三方授权限制的报告可能需要另行确认训练用途。这里是决策示例，不代表统一适用于所有公司的政策。

如果尚未作出某项选择，不要用默认值假装已经评估。团队可以记录待确认项，同时先完成现有响应调查。用途偏好需要与合同和实际授权一致；遇到复杂权利关系，应由持有材料与授权证据的人确认，而不是让技术配置替代判断。

第二步：查看线上真实的 robots.txt

通过公共域名读取文件，保存时间和原始内容。检查是否已有手工规则、托管内容区块或不同爬虫的单独配置。如下命令仅使用示例域名；实际操作时替换为自己的地址。

curl -i 'https://example.com/robots.txt'

尤其要确认响应是否被 CDN 改写。源站文件与公共域名返回内容可能不同，仓库里的一份文本并不能证明线上规则。若启用了托管功能，先理解哪些部分由平台维护，再决定修改位置，避免手工文本与托管规则冲突。

第三步：配置用途偏好并检查生效位置

以下是一段便于解释的示例，表达允许搜索索引用途、限制训练用途，并允许访问路径。它没有对 AI 回答输入表态；未写某信号不应被解释成通过该信号授予或禁止对应用途。部署时还需要配套政策说明，不能只把这几行当作完整配置。

User-agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

使用 Cloudflare 托管配置的团队应参考当前 robots.txt 设置文档，核对 Bot Preference Sync 与各类策略。界面和默认内容会随产品更新，不宜照搬旧截图。完成设置后，再读公共文件，确认实际输出与刚才的用途决策一致。

第四步：单独处理爬虫访问动作

在 AI Crawl Control 中查看哪些爬虫请求了哪些公开页面，再按需要调整允许或拦截。不要从“请求失败”直接判断“平台已拦截”：失败也可能来自站点错误、其他防火墙规则或权限检查。先看失败原因和对应时间，再定位动作来源。

若计划限制某类爬虫，先选择少量样本页面核对影响。文章页、目录页和静态资源的访问链路都可能相关；只允许一个入口，不代表客户端能继续读取正文。对需要继续提供服务的访问渠道，应在变更后复查，留下可回退的配置记录。

第五步：把验证接回内容运营

一次完整验收至少应包含偏好文件输出、边缘访问动作和真实活动记录。三者要分别记录，不能用一个成功请求替代。技术配置只证明某个时间、某条路径的行为；判断传播效果还要看引用、回访和业务结果。

维护内容时，也可以依照主题页与文章页的内链方法梳理相关材料，让被允许访问的页面包含完整解释与来源。访问规则解决入口，内容组织解决读者接下来去哪里；二者都需要持续维护。

适合小团队的首轮动作，是确定有限的用途选择，核对一个线上文件，再验证几个关键页面。先获得可以复查的事实，再扩大策略范围。Content Signals 不能保证 AI 服务遵守，AI Crawl Control 也不能保证品牌被推荐；二者应服务于明确的内容经营目标。

继续阅读相关专题