视频生成框架WonderJourney：一句话一张图就能生成无限3D画面

划重点:

🌐 斯坦福华人提出全新视频生成框架WonderJourney，能一句话或一张图生成连贯的3D场景。

🎨 WonderJourney通过LLM生成场景描述，使用文本驱动的视觉模块创造连续的3D场景，通过大型VLM验证生成效果。

🎨WonderJourney还可以根据文本描述（如诗歌、俳句和故事摘要）生成可控制的奇妙之旅，呈现出多样化的视觉效果。

斯坦福的华人研究人员最近推出了一项引人注目的创新视频生成框架WonderJourney，该框架可以通过一句话或一张图生成令人惊叹连贯的3D场景。

这项技术由一位华人退学博士开发的Pika技术引领，成功地将人工智能技术与艺术相融合，开辟了一片新的视觉创作领域。

WonderJourney框架被设计为用于无限场景生成的模块化工具。与以往专注于单一场景类型的视图生成框架不同，WonderJourney具有独特的能力，可以从用户提供的任何位置（通过文本描述或图像）开始，通过一系列不同但连贯相连的3D场景生成。这为用户提供了创造无限3D场景的可能性，仅需通过简短的文字描述或一张图片即可引发绚丽的想象。

WonderJourney的生成过程涉及多个关键组件，其中之一是Language Model （LLM），负责生成场景的文本描述。通过LLM的语义理解和常识推理，WonderJourney能够产生连贯且富有创意的场景描述。同时，文本驱动的视觉模块负责根据这些描述生成彩色点云，形成连贯的3D场景序列。为了验证生成的效果，WonderJourney还采用了大型的Visual Language Model (VLM)，确保场景的视觉效果得到有效验证。

从效果展示来看，WonderJourney不仅可以从任意位置开始，沿着摄像机轨迹生成一系列不同但连贯的3D场景，还能合成长篇视频，呈现出令人惊叹的视觉冒险。

这种框架的创新之处在于，它不仅提供了场景的生成，还能根据用户需求生成不同发展方向的"WonderJourneys"，实现了一种类似"AI的平行世界"的效果。此外，WonderJourney还展示了根据文本描述生成受控的"WonderJourneys"的能力，从古诗到日文俳句，再到英文场景的故事摘要，多语言呈现不同的艺术风格。

WonderJourney框架的推出标志着在3D场景生成领域的一次重要突破。它为用户提供了一个强大而灵活的工具，通过简单的语言或图像输入，创造出无限丰富的3D视觉体验。这一创新有望在艺术、影视制作等领域带来新的可能性，为创作者提供更广阔的创作空间。

WonderJourney项目网址:https://kovenyu.com/wonderjourney/

论文网址:https://arxiv.org/pdf/2312.03884.pdf