登陆注册
699

百度称文心一言完全自主研发 并解读其背后技术原理

站长网2023-04-17 08:30:570

近日,百度CTO王海峰在《中国经济大讲堂》节目上表示,文心一言完全是百度自主研发的大语言模型。百度早在2019年就发布文心大模型ERNIE1.0,经过近4年研发和迭代,文心大模型已经形成了产业级知识增强大模型技术体系,包括自然语言处理、视觉、跨模态、生物计算、行业大模型,以及支撑大模型应用的工具平台,蕴含了大量百度自主创新、并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或者发表论文,还有一些相关技术也已开源开放。

关于 “文心一言”名字由来,王海峰表示,“文”是语言文字,“心”是用心理解,“文心”指致力于理解和运用语言文字的自然语言理解模型,同时也呼应了《文心雕龙》,寓意用雕缕龙纹一样精细的功夫去研究语言文字的内涵和魅力;“一言”既有“一言为定、一言九鼎”的寓意,也有对人机之间“你一言我一语”流畅沟通的殷切期盼。文心“一言”既出,即可“一生二、二生三、三生万言”。

同时,王海峰以老师教学生为例,解读了大语言模型背后的技术原理。预训练大模型像博览群书的学生,记住了很多知识,但需要老师来指导如何运用,而有监督精调就是老师在教学生,将提炼出来的知识要点、典型范例等教给模型,让它知道该如何符合人类规范、习惯和价值观,去执行相应动作,生成相应内容。

文心一言训练了奖励模型,为每次输出的结果打分并给到反馈,进行强化学习,随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力越来越强。

此外,文心一言还融合了不同类型数据和知识,自动构造提示,包括实例、提纲、规范、知识点和思维链等,提供了丰富的参考信息,激发模型相关知识,生成高质量结果。

王海峰最后表示,未来,文心一言这类大语言模型会成为一个通用的赋能平台,金融、能源、媒体、政务等各行各业,都可以基于文心一言实现智能化变革,提高效率,创造巨大的商业价值。

0000
评论列表
共(0)条