视频版ContorlNet来了

要点:SparseCtrl是一种用于文本到视频（T2V）扩散模型的技术，旨在通过时间稀疏信号实现对视频结构的灵活控制，无需过多输入。该方法引入了一个额外的条件编码器，用于处理这些稀疏信号，同时保持预训练的T2V模型不变。这种方法与多种形式的输入兼容，包括草图、深度和RGB图像，为视频生成提供更实用的控制方式。