1800亿参数

阿联酋阿布扎比技术创新研究所（TechnologyInnovationInstitute，简称TII）在官网发布了，目前性能最强的开源大语言模型之一Falcon180B。TII表示，Falcon180B拥有1800亿参数，使用4096个GPU在3.5万亿token数据集上进行训练，这也是目前开源模型里规模最大的预训练数据集之一。Falcon180B有基础和聊天两个模型，允许商业化。

【新智元导读】一经发布，地表最强开源模型Falcon180B直接霸榜HF。3.5万亿token训练，性能直接碾压Llama2。一夜之间，世界最强开源大模型Falcon180B引爆全网!1800亿参数，Falcon在3.5万亿token完成训练，直接登顶HuggingFace排行榜。基准测试中，Falcon180B在推理、编码、熟练度和知识测试各种任务中，一举击败Llama2。