5万亿训练数据

阿联酋阿布扎比技术创新研究所（TechnologyInnovationInstitute，简称TII）在官网发布了，目前性能最强的开源大语言模型之一Falcon180B。TII表示，Falcon180B拥有1800亿参数，使用4096个GPU在3.5万亿token数据集上进行训练，这也是目前开源模型里规模最大的预训练数据集之一。Falcon180B有基础和聊天两个模型，允许商业化。