Pandora

Pandora是一个向通用世界模型迈进的模型，它能够通过生成视频来模拟世界状态，并允许使用自然语言在任何时间控制视频内容。Pandora与以往的文本到视频模型不同，它允许在视频生成过程中随时接受自由文本动作输入，从而实现视频的即时控制。这种即时控制能力实现了世界模型支持交互式内容生成和增强的健壮推理和规划的承诺。Pandora能够跨多个领域生成视频，如室内/室外、自然/城市、人类/机器人、2D/3D等场景。此外，Pandora还允许通过高质量的数据进行指令调整，使得模型能够在一个领域学习动作并在另一个未见过的领域中使用。Pandora模型还通过自回归模型生成更长的视频，其生成的视频长度可以超过训练视频的长度。尽管Pandora作为通用世界模型的初步步骤仍有限制，例如在生成一致性视频、模拟复杂场景、理解常识和物理法则以及遵循指令/动作方面可能会失败，但它在视频生成和自然语言控制方面展示了巨大的潜力。