在训练中使用的文本数据是其前身的近五倍

据CNBC披露，谷歌上周宣布的新型大型语言模型PaLM2使用的训练数据量几乎是2022年前身的5倍，可执行更高级的编码、数学和创意写作任务。据CNBC获悉，谷歌的新通用大型语言模型（LLM）PaLM2已训练了3.6万亿个token。而token是单词字符串，是训练LLM的重要组成，因为它们使模型能够预测序列中接下来出现的单词。