2026-10-31 — views
OpenAI 采用共享信号以管理 AI 训练偏好
为什么值得读 开发者和网站所有者获得了一种标准化的、碎片化程度更低的方式来管理整个行业的 AI 爬虫访问权限。
OpenAI 将于 2026 年 10 月 30 日宣布支持 robots.txt 中的新通用信号，允许网站同时向多家 AI 提供商表达训练偏好，简化爬虫访问管理。
统一的爬虫控制方法
OpenAI 于 2026 年 10 月 30 日宣布，将支持 robots.txt 中的通用信号。该文件允许网站表达其关于内容用于基础生成式 AI 训练的偏好。这一举措是一项自愿努力，旨在简化出版商和网站运营者向多家 AI 提供商同时传达其选择的方式。此前，运营者必须识别单个爬虫并为每个提供商维护单独的规则。新的共享信号通过允许在参与的提供商之间传达单一偏好，从而减轻了这一管理负担。
实施与现有控制措施
OpenAI 表示，其目标是在未来几个月内实施该信号。该公司计划在实施时分享有关实施细节的进一步更新。需要注意的是，这一新信号不会取代 robots.txt 已经提供的控制措施。现有的爬虫控制措施为网页出版商提供了对其页面的灵活性和控制权，将继续适用并得到尊重。这一进展得益于互联网工程任务组 (IETF) AI 偏好工作组的持续工作。OpenAI 在宣布此事时加入了工作组的其他参与者，强化了其继续参与 IETF 标准讨论的立场。
更广泛的行业影响
该公司认为，此举是迈向开放网络的一步务实举措，人们可以在其中发布和发现信息，同时网站所有者拥有更清晰、更简单的方式来传达其关于内容使用的选择。OpenAI 鼓励其他 AI 提供商尊重该信号。该公司还指出，随着对话和格局的演变，它将继续调整其做法，同时保持适当的控制和公平性。这一转变代表了 AI 模型与网络内容交互方式的标准化趋势，有可能减少互联网上排除规则处理方式的碎片化。
实务笔记
开发者和网站所有者应密切关注 IETF AI 偏好工作组关于该信号的最终规范。一旦发布，请更新您的 robots.txt 文件以包含新指令，以确保您的偏好得到 OpenAI 和其他参与提供商的尊重。