Diffusion Models Unit1

一、DDPM原理

.从前向过程，逆向采样过程，优化目标三块进行介绍。

一句话概括diffusion model，即存在一系列高斯噪声（ T轮），将输入图片 x_0变为纯高斯噪声 x_T。而我们的模型则负责将 x_T 复原回图片 x_0 。这样一来其实diffusion model和GAN很像，都是给定噪声 x_T生成图片 x_0 ，但是要强调的是，这里噪声 x_T与图片x_0是同维度的。

前向过程

前向过程，即往图片上加噪声的过程。这个步骤无法做到图片生成，但是这是理解diffusion model以及构建训练样本GT至关重要的一步
给定真实图片 $x_0\sim q(x)$ ,将真实图片分布记为q(x),diffusion前向过程通过 T次累计对其添加高斯噪声，得到 $x_1,x_2,...,x_T$如下图的q过程。

前向过程中有两个重要特性需要注意：
**特性1 - 重参数（reparameterization trick）：**这个技巧在VAE中使用过，如果我们要从某个分布中随机采样(高斯分布)一个样本，这个过程是无法反传梯度的。而这个通过高斯噪声采样得到x_t的过程在diffusion中到处都是，因此我们需要通过重参数技巧来使得他可微。

最通常的做法是把随机性通过一个独立的随机变量\epsilon引导过去。举个例子，如果要从高斯分布 $z\sim \mathcal{N}(z;{\mu }_{\theta },{\sigma }_{\theta }^2\mathbf{I})$ 采样一个z，我们可以写成:
$z={\mu }_{\theta }+{\sigma }_{\theta }\odot ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$
上式的z依旧是有随机性的， 且满足均值为${\mu }_{\theta }$方差为 ${\sigma }_{\theta }^2$的高斯分布。这里的${\mu }_{\theta }{\sigma }_{\theta }^2$可以是由参数 \theta 的神经网络推断得到的。整个“采样”过程依旧梯度可导，随机性被转嫁到了$ϵ$上。
特性2 - 任意时刻的$x_t$可以由$x_0$和$\beta$表示
能够通过 $x_0$ 和 $\beta$快速得到$ x_t$ 对后续diffusion model的推断和推导有巨大作用。首先我们假设 ${\alpha }_t=1-{\beta }_t$，并且 ${\overline{\alpha }}_t={\prod }_{i=1}^T{\alpha }_i$ ，展开 x_t 可以得到:

更详细：

因此可以混合两个高斯分布得到标准差为 为\sqrt{1-\alpha_t \alpha_{t-1}}的混合高斯分布，然而上式中的 ${\overline{z}}_2$仍然是标准高斯分布。而任意时刻的 x_t 满足 $q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\overline{a}}_t}{x}_0,(1-{\overline{a}}_t)\mathbf{I})$