新微调方法LongLoRA可低成本提升LLM上下文理解能力

文章概要:1.长文本理解突破:MIT与香港中文大学合作研发出LongLoRA，一种优化方法，可提升大型预训练语言模型（LLM）的上下文理解能力，而无需大量计算资源。2.训练方法创新:研究人员采用稀疏本地关注与参数高效调优策略相结合的方法，显著降低了训练成本，同时保持性能。