登陆注册
5217

商汤与上海AI实验室等发布“书生通用大模型体系”

站长网2023-07-08 17:01:050

在昨日的第六届世界人工智能大会上,商汤科技与上海人工智能实验室联合香港中文大学、复旦大学、上海交通大学及清华大学发布全新升级的“书生通用大模型体系”,包括:“书生·多模态”、“书生·浦语”和“书生·天际”三大基础模型,以及首个面向大模型研发与应用的全链条开源体系。

其中,“书生·多模态”大模型无缝整合了语言、图像、视频等多种模态,包含200亿参数,使用80亿多模态样本训练。

“书生·多模态”首次实现通过自然语言定义视觉任务,实现开放世界理解,支持多模态生成和跨模态交互,并支持350万语义标签的识别和理解,覆盖开放世界常见的类别和概念。目前,书生体系在80多种多模态和视觉评测任务中性能领先。

升级后的 “书生·浦语”是国内首个正式发布的支持8K语境长度的千亿参数级语言大模型,在包含1.8万亿token的高质量语料上训练而成。

在全面升级同时,书生·浦语还正式开源一个70亿参数的轻量级版本InternLM-7B。InternLM-7B在包含40个评测集的全维度评测中性能表现卓越、均衡,全面领先现有开源模型。特别在两个被广泛采用的基准MMLU和CEval上分别取得50.8和52.8高分,刷新了7B量级模型世界纪录。

此外,书生·浦语还开源了贯穿数据、预训练、微调、部署和评测五大环节的全链条工具体系。

(https://github.com/InternLM)

0000
评论列表
共(0)条