北大等发布智能体Jarvis-1 轻松玩转“我的世界”

要点:

北大、北邮、UCLA和BIGAI联合发布的智能体 Jarvis-1在开放世界游戏「我的世界」中取得重大突破，采用多模态 记忆增强 多任务处理，表现出卓越的规划和控制能力。

Jarvis-1通过多模态感知、记忆增强和终身学习，在「我的世界」游戏中展现出近乎完美的性能，成功完成包括合成钻石镐等复杂任务，超越了现有方法的性能水平。

Jarvis-1的成功归功于从LLM到MLM的感知能力升级、多模态记忆的应用以及自我指导和自我完善的能力，标志着通用智能体迈向了更高的学习、适应和改进水平。

最近，北大、北邮、UCLA和BIGAI的研究团队合作发布了一款名为 Jarvis-1的智能体，引起了广泛关注。该智能体在开放世界游戏「我的世界」中表现出色，实现了多模态感知、记忆增强和多任务处理。研究人员在论文中详细介绍了 Jarvis-1的实现过程以及其在游戏中的卓越表现。

Jarvis-1的实现过程主要包括在预训练的多模态语言模型基础上进行开发，将观察和文本指令映射到计划中，并通过多模态存储器提供先前训练和实际游戏经验的参考。在实验中，Jarvis-1在「我的世界」游戏的不同任务中表现出近乎完美的性能，尤其在合成钻石镐任务中成功率达到惊人的12.5%。

论文地址:https://arxiv.org/pdf/2311.05997.pdf

这一成功背后的关键因素包括从LLM到MLM的感知能力升级，通过多模态感知获得丰富的环境反馈，以及利用多模态记忆实现规划的正确性和一致性。Jarvis-1还展现出自我指导和自我完善的能力，通过终身学习和记忆，不断提高任务完成的效率和准确性。

然而，在实现开放世界游戏的过程中，研究人员也面临一些主要挑战。首先，开放世界意味着任务完成的途径不唯一，需要智能体具有审时度势的能力。其次，在执行高复杂度任务时，由大量小任务组合而成，每个小任务的达成都具有一定难度。最后，终身学习成为挑战，因为开放世界中的任务数目巨大，无法预先全部习得，需要智能体在规划的过程中不断进行学习。

Jarvis-1的发布标志着通用智能体在开放世界环境中取得了重要进展，展示了更高水平的规划、控制和学习能力。这对于人工智能领域的发展具有积极意义，为未来智能体的研究和应用提供了有益的经验和启示。