整个互联网转成大模型语料

Arxiv上所有论文转成Token，加起来不过14.1GB而已。这是最新爆火开源计划亚历山大完成的壮举。事实上，这还只是第一步。他们最终是想要将整个互联网变成Tokens，换言之全都转化成ChatGPT等大模型理解这个世界的方式。一旦这样的数据集诞生，那岂不是为开发出GPT-4这样的大模型又新增一大利器，上知天文下知地理指日可待了?!消息一出，瞬间引发巨大关注。网友们赞叹，史诗般的。