全球大型网站正在阻止 OpenAI 等人工智能爬虫访问其内容

根据人工智能内容检测器 Originality.AI 的最新数据，全球前 1000 个网站中有近 20% 阻止爬虫机器人收集网络数据用于 AI 服务。

在缺乏明确法律或监管规定管理 AI 使用版权材料的情况下，大小不一的网站都自行采取措施。

OpenAI 于 8 月初推出了其 GPTBot 爬虫，并宣布所收集到的数据「可能被用于改进未来模型」，承诺排除付费内容并指导网站如何禁止该爬虫。随后，包括《纽约时报》、路透社和 CNN 等知名新闻网站开始阻止 GPTBot，并且许多其他网站也效仿。

根据 Originality.AI 的数据，在全球前 1000 个最受欢迎的网站中，阻止 OpenAI ChatGPT bot 的数量从 8 月 22 日 9.1％ 增加到 8 月 29 日 12％。封锁 ChatGPT bot 的最大网站是亚马逊、Quora 和 Indeed。数据显示，更大型的网站更有可能已经封锁了 AI 爬虫机器人。

Common Crawl Bot 是另一个定期收集某些 AI 服务使用的 Web 数据的爬虫程序，在全球前 1000 个顶级网站上被屏蔽率为 6.77％。

任何您可以从 Web 浏览器访问的页面都可以被爬虫程序「抓取」，它们就像浏览器一样运行，但将材料存储在数据库中而不是向用户显示。

这就是搜索引擎如 Google 收集信息的方式。网站所有者一直有能力发布指令，告诉这些爬虫程序离开他们的网站，但合作完全是自愿性质，并且恶意操作者可以忽略这些指令。

谷歌和其他网络公司认为其数据爬虫工作属于合理使用范围，但许多出版商和知识产权持有人长期以来一直反对此做法，并且该公司因此面临了多起诉讼。大型语言模型和生成式 AI 的兴起使得这个问题重新受到关注，因为 AI 公司派出自己的爬虫程序收集数据以培训其模型并提供聊天机器人所需素材。

自从 Google 和其他搜索网站将用户引导至其支持广告的网站后，一些出版商至少认为允许搜索爬虫程序进入其网站具有某种价值。然而，在 AI 时代中，出版商更积极地阻止爬虫程序进入其网站，因为暂时没有将其数据交给 AI 公司的好处。许多媒体公司目前正在与 AI 公司就以费用向其授权数据进行谈判，但这些谈判还处于早期阶段。

在过去 20 年中被 Google 拿走了一些东西的媒体机构对 OpenAI 等快速商业化的 AI 服务持敌意和「我们不会再上当」的态度。据 The Information 报道，OpenAI 预计在未来一年内将带来超过 10 亿美元的收入。

新闻媒体公司正在努力找到平衡点，在接受和抵制人工智能之间挣扎。一方面，该行业迫切需要寻找创新方法来提高劳动密集型业务的利润率。

另一方面，在人们对新闻媒体公司的信任度处于历史低点之际，将人工智能引入新闻编辑室的工作流程，会带来具有挑战性的道德问题。

而如果太多的网络阻碍人工智能爬虫，它们的所有者可能会发现更难改进和更新他们的人工智能产品——而且好的数据也变得越来越难找到。

Originality.AI 的发现显示，前 1000 个网站中 GPTBot 的屏蔽率每周增加约 5%。