OpenAI 发布 DALL·E 进化版，这只蒸汽朋克时代的小熊有点酷！

发布人：CV研究院时间：2022-04-14 来源：工程师发布文章

整理 | 禾木木

出品 | AI科技大本营（ID:rgznai100）

2021年1月6日 OpenAI 发布了新模型 DALL·E ，AI 根据一段话就可直接生成图像。一年后进化 2.0 版本的“它”来了 —— DALL·E 2。

DALL·E 2 在生成用户描述的图像时具有更高的分辨率和更低的延迟。新版本还增添了一些新的功能，比如对原始图像进行编辑。

与之前的OpenAI工作一样，新工具没有直接向公众发布。但研究人员可以在线注册预览该系统，OpenAI希望以后能将其用于第三方应用。

试玩 Waitlist 地址：

https://labs.openai.com/waitlist

OpenAI 研究科学家 Prafulla Dhariwal 表示，「这个神经网络真是太神奇了，根据文本描述就能生成对应图像。」

DALL·E 2 功能展示

那 DALL·E 2 具体生成的图像是什么样呢？和 DALL·E 1代有哪些明显的区别呢？

DALL·E 2生成的“柴犬戴着贝雷帽穿着黑色高领毛衣”图像：

DALL·E 2 可以根据自然语言字幕对现有图像进行编辑。用户可以从现有图片开始，选择一个区域，然后告诉模型对其进行编辑。并且可以在考虑阴影、反射和纹理的同时添加和删除元素。

如下图所示，左边是原始图像，右边是 DALL·E 2 编辑后的图像。两张图对比后，我们发现左图中有数字 1、2、3，点击相应的位置，下图选择在 1 处添加火烈鸟。

DALL·E 2 可以根据原图像进行二次创作，创造出不同的变体：

DALL·E 2 相对一代以 4 倍的分辨率生成更逼真、更准确的图像。

DALL·E 2 的一项新功能是修复，在 DALL·E 1 的基础上，将文本到图像生成应用在图像更精细度的级别上。用户可以从现有的图片开始，选择一个区域，让模型对图像进行编辑，例如，你可以在客厅的墙上画一幅画，然后用另一幅画代替它，又或者在咖啡桌上放一瓶花。该模型可以填充 (或删除) 对象，同时考虑房间中阴影的方向等细节。

DALL·E 2 的另一个功能是生成图像不同变体，用户上传一张图像，然后模型创建出一系列类似的变体。

此外，DALL·E 2 还可以混合两张图片，生成包含这两种元素的图片。其生成的图像为 1024 x 1024 像素，大大超过了 256 x 256 像素。

如何实现新技能？

DALL·E 2 是建立在 CLIP 之上，这是许多文本 AI 应用程序使用的 GPT 模型。但单词匹配并不一定能符合人们的预期，而且预测过程限制了图像的真实性。

CLIP 是原版 DALL·E 功能实现的基础，是一个负责给图像重排序的模型，旨在以人类的方式查看图像并总结其内容，OpenAI 迭代创建了一个 CLIP 的倒置版本——「unCLIP」，它能从描述生成图像，而 DALL·E 2 使用称为扩散（diffusion）的过程生成图像。扩散模型的特点在于，在牺牲多样性的前提下，能大大提升生成图像的逼真度。

OpenAI 的研究人员设计方案：