加特技只需一句话or一张图，Stable Diffusion的公司把AIGC玩出了新花样（1）

从文本生成图像，再到给视频加特效，下一个 AIGC 爆发点要出现了吗？

相信很多人已经领会过生成式 AI 技术的魅力，特别是在经历了 2022 年的 AIGC 爆发之后。以 Stable Diffusion 为代表的文本到图像生成技术一度风靡全球，无数用户涌入，借助 AI 之笔表达自己的艺术想象……

相比于图像编辑，视频编辑是一个更具有挑战性的议题，它需要合成新的动作，而不仅仅是修改视觉外观，此外还需要保持时间上的一致性。

在这条赛道上探索的公司也不少。前段时间，谷歌发布的 Dreamix 以将文本条件视频扩散模型（video diffusion model, VDM）应用于视频编辑。

近日，曾参与创建 Stable Diffusion 的 Runway 公司推出了一个新的人工智能模型「Gen-1」，该模型通过应用文本 prompt 或参考图像指定的任何风格，可将现有视频转化为新视频。

论文链接：https://arxiv.org/pdf/2302.03011.pdf

项目主页：https://research.runwayml.com/gen1

2021 年，Runway 与慕尼黑大学的研究人员合作，建立了 Stable Diffusion 的第一个版本。随后英国的一家初创公司 Stability AI 介入，资助了在更多数据上训练模型所需的计算费用。2022 年，Stability AI 将 Stable Diffusion 纳入主流，将其从一个研究项目转变为一个全球现象。

Runway 表示，希望 Gen-1 能像 Stable Diffusion 在图像上所做的那样为视频服务。

「我们已经看到图像生成模型的大爆炸，」Runway 首席执行官兼联合创始人 Cristóbal Valenzuela 说。「我真的相信，2023 年将是视频之年。」

具体来说，Gen-1 支持几种编辑模式：

1、风格化。将任何图像或 prompt 的风格转移到视频的每一帧。

2、故事板。将模型变成完全风格化和动画的渲染。

3、遮罩。分离视频中的主题并使用简单的文本 prompt 对其进行修改。

4、渲染。通过应用输入图像或 prompt，将无纹理渲染变成逼真的输出。

5、定制化。通过自定义模型以获得更高保真度的结果，释放 Gen-1 的全部功能。

在该公司官方网站上发布的 demo 中，展示了 Gen-1 如何丝滑地更改视频风格，来看几个示例。

比如将「街道上的人」变成「粘土木偶」，只需要一行 prompt：

或者将「堆放在桌上的书」变成「夜晚的城市景观」：

从「雪地上的奔跑」到「月球漫步」：

年轻女孩，竟然秒变古代先哲：

论文细节

视觉特效和视频编辑在当代媒体领域无处不在。随着以视频为中心的平台的普及，对更直观、性能更强的视频编辑工具的需求也在增加。然而，由于视频数据的时间性，在这种格式下的编辑仍然是复杂和耗时的。最先进的机器学习模型在改善编辑过程方面显示出了巨大的前景，但很多方法不得不在时间一致性和空间细节之间取得平衡。

由于引入了在大规模数据集上训练的扩散模型，用于图像合成的生成方法最近在质量和受欢迎程度上经历了一个快速增长阶段。一些文本条件模型，如 DALL-E 2 和 Stable Diffusion，使新手只需输入一个文本 prompt 就能生成详细的图像。潜在扩散模型提供了有效的方法，通过在感知压缩的空间中进行合成来生成图像。

在本论文中，研究者提出了一个可控的结构和内容感知的视频扩散模型，该模型是在未加字幕的视频和配对的文本 - 图像数据的大规模数据集上训练的。研究者选择用单目深度估计来表征结构，用预训练的神经网络预测的嵌入来表征内容。

该方法在其生成过程中提供了几种强大的控制模式：首先，与图像合成模型类似，研究者训练模型使推断出的视频内容，如其外观或风格，与用户提供的图像或文本 prompt 相匹配（图 1）。其次，受扩散过程的启发，研究者对结构表征应用了一个信息掩蔽过程，以便能够选择模型对给定结构的支持程度。最后，研究者通过一个自定义的指导方法来调整推理过程，该方法受到无分类指导的启发，以实现对生成片段的时间一致性的控制。

总体来说，本研究的亮点如下：

• 通过在预训练图像模型中引入时间层，并在图像和视频上进行联合训练，将潜在扩散模型扩展到了视频生成领域；

• 提出了一个结构和内容感知的模型，在样本图像或文本的指导下修改视频。编辑工作完全是在推理时间内进行的，不需要额外对每个视频进行训练或预处理；

• 展示了对时间、内容和结构一致性的完全控制。该研究首次表明，对图像和视频数据的联合训练能够让推理时间控制时间的一致性。对于结构的一致性，在表征中不同的细节水平上进行训练，可以在推理过程中选择所需的设置；

• 在一项用户研究中，本文的方法比其他几种方法更受欢迎；

• 通过对一小部分图像进行微调，可以进一步定制训练过的模型，以生成更准确的特定主体的视频。