让AI聊天机器人可以解读三维世界

研究人员推出了一款名为3D-LLM的新方法，可以将对3D环境的理解融入到大型语言模型中。这意味着聊天机器人将能够理解和处理3D空间的概念，从而更好地在三维世界中导航和操作。大型语言模型和多模态语言模型可以处理语音和2D图像，比如ChatGPT、GPT-4和Flamingo。然而，这些模型缺乏对3D环境和物理空间的真正理解。研究人员现在提出了一种称为3DLLM的新方法来解决这个问题。