智源研究院推出1bit自然语言理解预训练模型BiPFT

智源研究院提出了首个用于自然语言理解任务的1bit轻量化预训练模型BiPFT。与传统的FP32模型相比，BiPFT模型在推理阶段显著减少了操作数量和内存使用。该模型在GLUE标准测试集上的平均性能超过了15.4%。