Diffusion Model——由浅入深的理解

• 概览
• 扩散过程
• 逆扩散过程
• 损失函数
• 代码讲解
• 总结
• 参考

本文在概览中对Diffusion model抛去细节做一个整体的梳理，而细节的推导会在下文的扩散过程、逆扩散过程、损失函数中展示。如果只想对Diffusion model有一个定性的了解而不关系推导的话，只看概览就可以了。

概览

扩散模型有两个过程，分别为扩散过程和逆扩散过程。

如上图所示，扩散过程为从右到左（$X_0\to X_T$）的过程，表示对图片逐渐加噪，且$X_{t+1}$是在$X_t$上加躁得到的，其只受$X_t$的影响，因此扩散过程是一个马尔科夫过程。$X_0$表示从真实数据集中采样得到的一张图片，对$X_0$添加$T$次噪声，图片逐渐变得模糊，当$T$足够大时，$X_T$为标准正态分布。在训练过程中，每次添加的噪声是已知的，即$q(X_t|X_{t-1})$是已知的，根据马尔科夫过程的性质，我们可以递归得到$q(X_t|X_0)$，即$q(X_t|X_0)$是已知的。扩散过程最主要的就是$q(X_t|X_0)$和$q(X_t|X_{t-1})$的推导，推导细节见下文的扩散过程。

如上图所示，逆扩散过程为从左到右（$X_T\to X_0$）的过程，表示从噪声中逐渐复原出图片。如果我们能够在给定$X_t$条件下知道$X_{t-1}$的分布，即如果我们可以知道$q(X_{t-1}|X_t)$，那我们就能够从任意一张噪声图片中经过一次次的采样得到一张图片而达成图片生成的目的。显然我们很难知道$q(X_{t-1}|X_t)$，因此我们才会用$p_{\Theta }(X_{t-1}|X_t)$来近似$q(X_{t-1}|X_t)$，$p_{\Theta }(X_{t-1}|X_t)$就是我们要训练的网络，在原文中就是个U-Net。而很妙的是，虽然我们不知道$q(X_{t-1}|X_t)$，但是$q(X_{t-1}|X_t{X}_0)$却是可以用$q(X_t|X_0)$和$q(X_t|X_{t-1})$表示的，即$q(X_{t-1}|X_t{X}_0)$是可知的，因此我们可以用$q(X_{t-1}|X_t{X}_0)$来指导$p_{\Theta }(X_{t-1}|X_t)$进行训练。逆扩散过程最主要的就是$q(X_{t-1}|X_t{X}_0)$的推导，推导细节见下文的逆扩散过程。

我们已经明确了要训练$p_{\Theta }(X_{t-1}|X_t)$，那要怎么确定目标函数呢？有两个很直接的想法，一个是负对数的最大似然概率，即$-log{p}_{\Theta }(X_0)$，另一个是真实分布与预测分布的交叉熵，即$-E_{q(X_0)}log{p}_{\Theta }(X_0)$，而然这两种都不好搞，因此他参考了VAE，不去优化这两个东西，而是优化他们的变分下界(variational lower bound)，定义$L_{VLB}$如下:
$$\begin{gathered} L_{VLB}=E_{q(x_0)}[log\frac{q(X_{1:T}|X_0)}{p_{\Theta }(X_{0:T})}] \\ 可证：L_{VLB}\ge -log{p}_{\Theta }(X_0)\&L_{VLB}\ge -E_{q(X_0)}log{p}_{\Theta }(X_0)\text{\hspace{1em}(1)} \end{gathered}$$
即$L_{VLB}$减小就代表$-log{p}_{\Theta }(X_0)$和$-E_{q(X_0)}log{p}_{\Theta }(X_0)$的上界减小。
且经过导，$L_{VLB}$可写成如下形式：
$$L_{VLB}=L_T+L_{T-1}+...+L_0\text{\hspace{1em}(2)}$$$$\begin{gathered} where:L_T=D_{KL}(q(X_T|X_0)||p_{\Theta }(x_T)) \\ {L}_t=D_{KL}(q(X_t|X_t+1,X_0)||p_{\Theta }(x_t|x_{t+1})),1\le t\le T \\ {L}_0=-log{p}_{\Theta }(x_0|x_1) \end{gathered}$$
由上式不难发现，$L_t$就是逆扩散过程中$q(X_t|X_{t+1})$和$p_{\Theta }(X_t|X_{t+1})$的KL散度，这也就是我上面说的，用$q(X_t|X_{t+1})$来指导$p_{\Theta }(X_t|X_{t+1})$进行训练。这部分主要就是(1)式和(2)式的推导，细节部分见下文的损失函数。

扩散过程

如上图所示，扩散过程为从右到左（$X_0\to X_T$）的过程，表示对图片逐渐加噪，且$X_{t+1}$是在$X_t$上加躁得到的，其只受$X_t$的影响，因此扩散过程是一个马尔科夫过程。且每一步扩散的步长受变量 { β t ∈ ( 0 , 1 ) } t = 1 T \{β_{t} \in (0,1)\}_{t=1}^{T} {βt​∈(0,1)}t=1T​的影响。$q(X_t|X_{t-1})$可写为如下形式，即给定$X_{t-1}$的条件下，$X_{t-1}$服从均值为$\sqrt{1-{\beta }_t}{X}_{t-1}$，方差为${\beta }_{t}I$的正态分布:
$$q(X_t|X_{t-1})=N(X_t;\sqrt{1-{\beta }_t}{X}_{t-1},{\beta }_{t}I)\text{\hspace{1em}(3)}$$
用重参数化技巧表示$X_t$，令${\alpha }_t=1-{\beta }_t$，令$Z_t\sim N(0,I),t\ge 0$，即:
$$X_t=\sqrt{{\alpha }_t}{X}_{t-1}+\sqrt{1-{\alpha }_t}{Z}_{t-1}\text{\hspace{1em}(4)}$$
写多几行:
$$\begin{gathered} X_{t-1}=\sqrt{{\alpha }_{t-1}}{X}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{Z}_{t-2} \\ {X}_{t-2}=\sqrt{{\alpha }_{t-2}}{X}_{t-3}+\sqrt{1-{\alpha }_{t-2}}{Z}_{t-3} \\ ... \\ {X}_1=\sqrt{{\alpha }_1}{X}_0+\sqrt{1-{\alpha }_1}{Z}_0 \end{gathered}$$
易归纳得，令${\bar{\alpha }}_t={\prod }_{i=1}^t{\alpha }_i$：
$$X_t=\sqrt{{\bar{\alpha }}_t}{X}_0+\frac{\sqrt{{\bar{\alpha }}_t}}{\sqrt{{\alpha }_1}}\sqrt{1-{\alpha }_1}{Z}_0+\frac{\sqrt{{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_2}}\sqrt{1-{\alpha }_2}{Z}_1+\frac{\sqrt{{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_3}}\sqrt{1-{\alpha }_3}{Z}_2+...+\sqrt{1-{\alpha }_t}{Z}_{t-1}$$
设随机变量${\bar{Z}}_{t-1}$为：
$${\bar{Z}}_{t-1}=\frac{\sqrt{{\bar{\alpha }}_t}}{\sqrt{{\alpha }_1}}\sqrt{1-{\alpha }_1}{Z}_0+\frac{\sqrt{{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_2}}\sqrt{1-{\alpha }_2}{Z}_1+\frac{\sqrt{{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_3}}\sqrt{1-{\alpha }_3}{Z}_2+...+\sqrt{1-{\alpha }_t}{Z}_{t-1}$$
则${\bar{Z}}_{t-1}$的期望和方差如下：
$$\begin{gathered} E({\bar{Z}}_{t-1})=0 \\ D({\bar{Z}}_{t-1})=\frac{{\bar{\alpha }}_t}{{\alpha }_1}(1-{\alpha }_1)+\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_2}(1-{\alpha }_2)+\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_3}(1-{\alpha }_3)+...+\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_t}(1-{\alpha }_t)=1-{\bar{\alpha }}_t \end{gathered}$$
所以，
$$\begin{gathered} X_t=\sqrt{{\bar{\alpha }}_t}{X}_0+{\bar{Z}}_{t-1}=\sqrt{{\bar{\alpha }}_t}{X}_0+\sqrt{1-{\bar{\alpha }}_t}Z,Z\sim N(0,I) \\ q(X_t|X_0)=N(X_t;\sqrt{{\bar{\alpha }}_t}{X}_0,(1-\bar{\alpha })I) \end{gathered}$$
至此，我们推出了$q(X_t|X_{t-1})$和$q(X_t|X_0)$。

逆扩散过程

如果我们能够在给定$X_t$条件下知道$X_{t-1}$的分布，即如果我们可以知道$q(X_{t-1}|X_t)$，那我们就能够从任意一张噪声图片中经过一次次的采样得到一张图片而达成图片生成的目的。显然我们很难知道$q(X_{t-1}|X_t)$，因此我们才会用$p_{\Theta }(X_{t-1}|X_t)$来近似$q(X_{t-1}|X_t)$，$p_{\Theta }(X_{t-1}|X_t)$就是我们要训练的网络。而很妙的是，虽然我们不知道$q(X_{t-1}|X_t)$，但是$q(X_{t-1}|X_t{X}_0)$却是可以用$q(X_t|X_0)$和$q(X_t|X_{t-1})$表示的，即$q(X_{t-1}|X_t{X}_0)$是可知的。
下面对$q(X_{t-1}|X_t{X}_0)$进行推导:
$$\begin{gathered} q(X_{t-1}|X_t{X}_0)=\frac{q(X_0{X}_{t-1}{X}_t)}{q(X_0{X}_t)}=\frac{q(X_0{X}_{t-1}{X}_t)}{q(X_0{X}_{t-1})}\frac{q(X_0{X}_{t-1})}{q(X_0{X}_t)}=q(X_t|X_{t-1}{X}_0)\ast \frac{q(X_{t-1}|X_0)}{q(X_t|X_0)} \\ \because 扩散过程是马尔科夫过程 \\ \therefore q(X_t|X_{t-1}{X}_0)=q(X_t|X_{t-1}) \\ \therefore q(X_{t-1}|X_t{X}_0)=q(X_t|X_{t-1})\ast \frac{q(X_{t-1}|X_0)}{q(X_t|X_0)} \end{gathered}$$
至此，已经把$q(X_{t-1}|X_t{X}_0)$用$q(X_t|X_0)$和$q(X_t|X_{t-1})$进行表示，下面对$q(X_{t-1}|X_t{X}_0)$的表达式进行推导:
$$\begin{gathered} q(X_{t-1}|X_t{X}_0)=\frac{1}{\sqrt{2\pi \frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}}{\beta }_t}exp(-\frac{1}{2\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t}(X_{t-1}^2-2(\frac{(1-{\bar{\alpha }}_{t-1})\sqrt{{\alpha }_t}{X}_t}{1-{\bar{\alpha }}_t}+\frac{{\beta }_t\sqrt{{\bar{\alpha }}_{t-1}}{X}_0}{1-{\bar{\alpha }}_t})X_{t-1}+C(X_0,X_t)) \\ q(X_{t-1}|X_t{X}_0)=N(X_{t-1};\frac{(1-{\bar{\alpha }}_{t-1})\sqrt{{\alpha }_t}{X}_t}{1-{\bar{\alpha }}_t}+\frac{{\beta }_t\sqrt{{\bar{\alpha }}_{t-1}}{X}_0}{1-{\bar{\alpha }}_t},\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t) \\ \because X_t=\sqrt{{\bar{\alpha }}_t}{X}_0+\sqrt{1-{\bar{\alpha }}_t}Z,Z\sim N(0,I) \\ \therefore q(X_{t-1}|X_t{X}_0)=N(X_{t-1};\frac{1}{{\sqrt{\alpha }}_t}{X}_t-\frac{{\beta }_t}{\sqrt{{\alpha }_t(1-{\bar{\alpha }}_t)}}Z,\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t),Z\sim N(0,I) \end{gathered}$$
至此，得到了$q(X_{t-1}|X_t{X}_0)$的分布表达式。

损失函数

先睡了，待补充

代码讲解

还没时间看，待补充

总结

本文是我学习过程中的个人理解，有不对的地方希望大家帮忙指出。希望可以抛砖引玉，欢迎大家在评论区和我交流。

参考

1. What are Diffusion Models?
2. Diffusion Models Beat GANs on Image Synthesis
3. Deep unsupervised learning using nonequilibrium thermodynamics
4. Denoising Diffusion Probabilistic Models