⚛️ 详解文生图视觉AIGC原理

概述

视觉领域的AIGC常用的几类技术：

其对比如下

GAN

这里简单阐述一下GAN做图像生成的优缺点，不对技术细节做展开

优点是保真度高，缺点是训练不够稳定，因为要同时训练生成器和判别器，存在一个平衡的问题，训练不好容易造成训练坍塌；另外GAN的目标是生成图片的尽量真实性，但是它生成的图片多样性确比较差，也就是创造性不是很好

Diffusion Model

Framework

扩散模型，Diffusion一词来源于热力学

扩散现象是一个基于分子热运动的输运现象，是指物质分子从高浓度区域向低浓度区域转移直到均匀分布的现象

在扩散模型中包含两个过程

Forward Diffusion(图片 -> 随机噪声)
Reverse Diffusion(随机噪声 -> 图片)

其演化为DDPM -> improved DDPM -> Diffusion beats GAN -> CLIDE -> DALL.E2 -> Imagen

Forward Diffusion

整个Forward的过程如下：

Framework

整个Diffusion的Framework如下图所示

暂时无法在{app_display_name}文档外展示此内容

其中三个model分开训练，然后组合起来

我们分别看一下

Stable Diffusion
DALL.E2
Imagen

的framework：

Stable Diffusion

DALL.E2

Imagen

Text Encoder

文字的encoder对最终的效果影响也较大，常见手段是CLIP

CLIP

CLIP(Contrastive Language-Image Pre-training)：Connecting text and images

CLIP是zero-shot的，迁移能力很强，其预训练采用的是对比学习，从上图左边可以看出，有N个正样本，有N^2-N的负样本；这里用来预训练的数据集包含4亿清洗过的文本-图像对；

上图右侧展示了CLIP如何做zero-shot的，即完成一个图像分类任务，右图举例的是image-net的1000分类问题，如果给一个三轮车的图片，image-net的Resnet-101是无法精准识别的，而CLIP是可以的，这就是大模型vs小模型的魅力；

其迁移能力的图示如下所示：

而clip除了能应用于图像识别之外，在目标检测&语义分割上也能发挥作用

CLIP最大的一个创新是从自然语言中获得监督信号，相比传统任务的从图像中获取监督信号，其泛化能力很强

从自然语言中获得监督信号有两个好处：

不需要子任务的标注动作，同时现在标签是文本，而非之前的n选1的标签了，所以模型自由大就大了很多
因为现在把文字与图像绑定在一起，现在学到的不仅仅是一个视觉特征了，而是一个多模态特征；和语言产生联系后，就很容易做zero-shot这种迁移学习了

数据集

OpenAI自己构建数据集：图像文本数据WIT，即WebImage Text，总量4亿

训练效率

作者认为把预测型的目标函数替换为对比型的目标函数，训练效率一下子就提升了4倍

Image Encoder

模型上视觉侧，尝试过ResNet，Efficient Net，到最大的ViT large，即ViT-L/14(作者发现迁移学习的性能基本上和模型大小成正相关)

Text Encoder

作者尝试了CBOW ，到Text Transformer，其中的投射层是为了学习如何从单模态变成多模态

训练技巧

采用混精度训练(Mixed-precision)加速训练和节省内容(基本上涉及到Transformer的论文都会用到)，超参搜索采用最小的resnet-50，并且只做了一个epoch，对于ViT-l，就没有去做搜参了

Zero-Shot Transfer

之前那些自监督或者无监督的方法，主要聚焦于学习representation learning，也就是特征学习的能力，它们的目标就是学一种泛化性比较好的特征，但即使学习到了很好的泛化特征，应用到下游任务时，还是需要有标签的数据去做微调，这里就涉及到诸多问题：下游任务不好收集数据；存在distribution shit问题等等；

如何训练一个模型，接下来就不再微调呢？这就是Zero-Shot Transfer 的研究动机，一旦借助文本训练出一个又大又好的模型之后，可以用文本作为引导，去灵活的做Zero-Shot Transfer；要利用CLIP的Zero-Shot能力，需要借助prompt engineering，如上图分类任务将目标转化为句子

Generation Model

生成模型主要是基于文本embedding生成中间产物，这里的中间产物有两种可能的形态：

压缩图片(compressed image)，比如Imagen
隐含表征(latent representation)，比如DALL.E2，Stable Diffusion

而对于模型主体结构，以U-net形态为主

U-net

FCN是图像语义分割的开山之作，相比于普通的CNN是图像预测，而FCN则是像素预测

U-net则是对FCN全卷积的扩展，二者比较相似，都是编码和解码，即encoder-decoder的结构，但是和FCN相比，U-Net的第一个特点是完全对称，也就是左边和右边是很类似的，而FCN的decoder相对简单，只用了一个deconvolution的操作，之后并没有跟上卷积结构。第二个区别就是skip connection，FCN用的是加操作summation，U-Net用的是叠操作concatenation

U-net的左侧是做下采样，即contracting path路劲压缩，而右侧则是expansive path，即路劲扩展

compressed image

首先，通过以下方式训练Denoise