OpenAI、Google、Microsoft 与 Anthropic 支持新的 AI 抓取退出标准
多家主要 AI 公司表示将采用一项新标准，让发布者可以选择退出被 AI 抓取。该标准通过 robots.txt 中的共享“policy token”信号，让发布者跨多家公司应用 AI 训练偏好。
资讯摘要
多家主要 AI 公司表示将采用一项新标准，让发布者可以选择退出被 AI 抓取。该标准通过 robots.txt 中的共享“policy token”信号，让发布者跨多家公司应用 AI 训练偏好。
据 Search Engine Roundtable 早前报道，OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，供发布者选择退出被 AI 抓取。
这项共享的“policy token”信号由 Anthropic 标准技术负责人 Kevin Kelley 在 Internet Engineering Task Force（IETF）框架下提出。它将存在于网站的 robots.txt 文件中；该文件长期用于表明哪些网页爬虫可以或不可以抓取网站。
有了这一控制方式，发布者可以跨多家 AI 公司应用其 AI 训练偏好，而不必逐家单独设置。
来源：The Verge AI，原文链接：https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out