登陆注册
5245

蛋白质通用大模型xTrimoPGLM来了 由百图生科与清华大学合作开发

站长网2023-07-10 09:15:511

百图生科与清华大学合作开发了一款名为xTrimoPGLM的蛋白质语言模型,该模型的参数量高达1000亿,是目前蛋白质领域首个达到这一规模的“通用大模型”。xTrimoPGLM在13个任务上取得了SOTA(State-of-the-Art)成果,超越了AlphaFold2等蛋白质AI模型。

论文地址:https://www.biorxiv.org/content/10.1101/2023.07.05.547496v1

该模型结合了GLM(通用语言模型)和MLM(掩码语言模型)的优势,既具备理解任务的能力,也能完成生成任务。在抗体结构预测任务中,xTrimoPGLM不仅效果更好,而且速度也提升了一个数量级。该模型的参数量达到千亿级,是因为蛋白质数据的规模庞大,需要更大的模型来处理。

xTrimoPGLM的应用范围涵盖了蛋白质结构预测、蛋白质设计等多个任务,可用于行业研究人员的工作。未来,团队计划将模型扩展到RNA、DNA等生命科学数据,并探索更加通用的生命科学大模型。发展“通用大模型”的路径可以是单个模型的参数量扩大,也可以是多个模型联合的方式。百图生科团队将继续采取多个大模型联动的方式,探索通用大模型之路。

0001
评论列表
共(0)条