字节跳动与中科大联手提出多模态文档大模型DocPedia

要点:字节跳动与中国科学技术大学联合研究的多模态文档大模型DocPedia成功突破分辨率极限，达到2560×2560，相较于现有先进模型有显著提升。DocPedia不仅能准确识别图像信息，还能结合用户需求调用知识库回答问题，展现了高分辨率多模态文档理解的强大能力。训练DocPedia的关键在于采用感知-理解联合训练策略，通过频域处理解决分辨率问题，以及在微调阶段进行整体优化，显著提高了性能。