登陆注册
1249

Reddit要收取API访问费,盯着AI厂商来薅羊毛

站长网2023-05-02 09:31:500

进入2023年后,或许已经鲜少有网友还没听过ChatGPT这个大名。这一继元宇宙之后出现的“新浪潮”,俨然已经成为了今年科技圈的风口,包括海外市场的微软、谷歌、亚马逊,以及国内的百度、阿里、腾讯、字节跳动在内,几乎但凡有一定技术实力的科技厂商也悉数下场,即便是技术力不够的厂商也是八仙过海各显神通,有诸如知乎这样联手合作伙伴的,也有像“美国贴吧”Reddit这样“卖资源”的。

日前Reddit方面宣布,将开始对使用其应用程序编程接口(API)的企业收费,该接口则提供了下载和处理人与人之间对话的相关数据。事实上,Reddit的API自2008年以来就一直是以免费的方式开放给第三方,对于突然转向收费,Reddit方面的解释,是此举为了限制其API被用于训练人工智能工具,其中包括OpenAI的ChatGPT、谷歌的Bard,以及微软的Bing AI等。

尽管Reddit暂时还没有公布其API的具体收费标准,但官方已经透露,将为“需要额外功能、更高使用限制和更广泛使用权的第三方,引入一个新的高级接入点”。而为了避免被外界指责“吃相难看”,Reddit方面还表示将会对一些访问API的用户免费,而这类用户则主要包括科研机构的研究人员,或是从事非商业目的的研究员。

Reddit为何敢于去收这笔钱呢?其实成立于2005年的Reddit,已经是全球互联网中历史最悠久、同时也最有活力的社区之一。截止2021年10月,也就是Reddit官方最后一次披露的用户数据表明,其拥有5300万DAU和超过4.3亿MAU。而来自Statista的数据显示,Reddit是全美访问量第六大的社交媒体,月活水平与Instagram、Twitter几乎持平。

如此海量的用户也造就了Reddit的活跃社区总数超过了14万个,帖子总量超过3.66亿,评论总数为23亿,这也代表着沉淀在Reddit的内容已然成为了一个极为惊人的语料库。而在AI领域,语料(Corpus)通常是一定数量和规模的文本资源集合,作为一个以论坛为形式展开业务的平台,Reddit显然是当下英语互联网中最潮流、最日新月异的语料库。例如OpenAI开发的ChatGPT以及最新的GPT-4,就有很多训练数据被证实是来源于Reddit。

就像数据之于算法一样,语料则是ChatGPT这类生成式AI更加智慧的基础所在。生成式AI的原理,大概可以总结为通过大量的语料库进行训练,以建立相应的模型,从而使得AI能够对人类的问题作出相应的回答和决策,其核心逻辑就是“猜谜游戏”。经过大量的训练后,AI预测出问题的答案,并不等于拥有智慧,而只是在玩文字游戏,进行一次又一次的概率解谜,本质上与人类玩数独或填字游戏是一样的。

那么ChatGPT为什么会表现得比以往的人工智能产品、比如Siri更聪明呢?其实单纯是因为语料规模更大。例如GPT-3就拥有的1750亿的参数量、45TB的训练数据,以及高达1200万美元的训练费用,这也是OpenAI打造ChatGPT的基础。而ChatGPT聪明的关键就在于涌现能力(Emergent ability)上,指的是在不进行参数更新的情况下,只在输入中加入几个示例,就能让模型进行学习。

涌现能力从何而来呢,根据Google&Deepmind联合发布的相关论文显示,模型在没有达到一定规模前,得到的表现较为随机,但在突破规模的临界点后,表现则会大幅度提升。

例如在BIG-Bench上,GPT-3和LaMDA在未达到临界点时,模型的表现都是接近于零。而在GPT-3的规模突破2·10^22training FLOPs (13B参数),LaMDA的规模突破10^23training FLOPs (68B参数)后,表现就开始快速上升。

“力大砖飞”就是当下大语言模型的底层逻辑,在这种情况下,语料基本决定了大语言模型的上限。语料虽然是越多越好,但问题是已经没有更多高质量的数据供模型进行训练了。

AI研究团队Epoch在今年年初发表的论文表明,AI不出5年就会把人类所有的高质量语料用光。而且这一结果,则是Epoch将人类语言数据增长率,即全体人类未来5年内出版的书籍、撰稿的论文、编写的代码,都考虑在内预测出的结果。

Epoch团队将语料分为了高质量和低质量两种,其中高质量的语料指的是包括维基百科、新闻网站、GitHub上的代码、出版书籍等,低质量语料则来源于Twitter、Facebook,以及Reddit上的内容。

正常情况下,AI厂商自然更愿意使用高质量的语料,毕竟这能够在最大限度上避免被偏见和歧视性言论“污染”。但问题是,据统计,高质量语料数据的存量只剩下约4.6×10^12~1.7×10^13个单词,相比当前最大的文本数据集大了不到一个数量级。

所以当高质量语料不够用的情况下,低质量语料即便再不好用也得用,不然大语言模型要如何成长。而对于低质量语料,充其量也只是在数据标注和清洗上投入更多成本,所以OpenAI、谷歌、亚马逊等公司相当于就没得选。所以Reddit如今就正是挟语料自重,料定了AI厂商只能硬着头皮买。

0000
评论列表
共(0)条