机器学习方法—优雅的模型（一）：变分自编码器（VAE）

1. Introduction

有了之前损失函数（一）：交叉熵与KL散度、损失函数（二）：MSE、0-1 Loss与Logistic Loss两篇文章的基础，我们现在可以开始做一些真的模型了。

中文社区里有一些对于VAE的介绍，但是我感觉这些往往流于表面，没有很好的把每一步的动机解释清楚。这篇文章将详细对VAE模型进行介绍，包括它的产生动机、数学推导、Conditional VAE扩展，以及它的实现与细节讨论。

希望这篇文章能够更加清楚的写出，为什么我们需要VAE、为什么VAE这样设计。文章较长、推导较多，难免有疏忽和错误，也请读者不吝指正。

2. Motivation

在说VAE之前，自然要先说到传统的自编码器 (Autoencoder)。上图即是一个自编码的实例。自编码器类似于一个非线性的PCA，是一个利用神经网络来给复杂数据降维的模型。现在我们记$X$X为整个数据集的集合，$x_i$x_i是数据集中的一个样本。

自编码器包含一个编码器$z=g(X)$z = g(X)，它的输出$z$z我们称作编码，$z$z的维度往往远远小于输入$X$X的维度。它还包含一个解码器$\tilde{X}=f(z)$\tilde{X} = f(z)，这个解码器能够通过编码$z$z得到$\tilde{X}。$\tilde{X}。

我们希望解码器解码得到的$\tilde{X}$\tilde{X}能够尽可能的接近$X，$X，所以自编码器一个常用的损失函数是$\ell =\Vert X-\tilde{X}{\Vert }^2。$\ell = \|X - \tilde{X}\|^2。这样一来，模型训练结束后，我们就可以认为编码$z$z囊括了输入数据$X$X的大部分信息，也因此我们可以直接利用$z$z表达原始数据，从而达到数据降维的目的。

出于方便，假设现在我们的输入$X\in {\mathbb{R}}^{C\times H\times W}$X \in \mathbb{R}^{C \times H \times W}是一些图片，我们可以训练一个自编码器。它的编码器$z=g(X)$z = g(X)将每个图片编码成$z\in {\mathbb{R}}^d，$z \in \mathbb{R}^d，它的解码器$\tilde{X}=f(z)$\tilde{X} = f(z)利用$z$z将输入的图片重建为$\tilde{X}\in {\mathbb{R}}^{C\times H\times W}$\tilde{X} \in \mathbb{R}^{C \times H \times W}。

我们现在仔细研究一下这个模型的解码器$g:{\mathbb{R}}^d\to {\mathbb{R}}^{C\times H\times W}。$g: \mathbb{R}^d \rightarrow \mathbb{R}^{C \times H \times W}。这个解码器只需要输入某些低维向量$z，$z，就能够输出高维的图片数据$X。$X。那我们能否把这个模型直接当做生成模型，在低维空间${\mathbb{R}}^d$\mathbb{R}^d中随机生成某些向量$z$z，再喂给解码器$f(z)$f(z)来生成图片呢？

答案是，我们可以这么做，运气好的话我们可以得到一些有用的图片，但是对绝大多数随机生成的$z$z，$f(z)$f(z)只会生成一些没有意义的噪声。

为什么会这样呢？这是因为我们没有显性的对$z$z的分布$p(z)$p(z)进行建模，我们并不知道哪些$z$z能够生成有用的图片。我们用来训练$f(z)$f(z)的数据是有限的，$f$f可能只会对极有限的$z$z有响应。而${\mathbb{R}}^d$\mathbb{R}^d又是一个太大的空间，如果我们只在这个空间上随机采样的话，我们自然不能指望总能恰好采样到能够生成有用的图片的$z。$z。

在Autoencoder的基础上，显性的对$z$z的分布$p(z)$p(z)进行建模，使得自编码器成为一个合格的生成模型，我们就得到了Variational Autoencoders，即今天的主题，变分自编码器。

3. Derivation

我们在这一章正式对VAE进行推导。对于自编码器来说，$z$z的分布是不确定的，因此只能在${\mathbb{R}}^d$\mathbb{R}^d上采样、碰运气。我们为什么不给定$z$z一个简单的分布，将采样的空间缩的很小呢？

我们不妨假设$z\sim \mathcal{N}(0,I)，$z \sim \mathcal{N}(0, I)，其中$I$I代表一个单位矩阵。也就是说，我们将$z$z看作是一个服从标准多元高斯分布的多维随机变量。

现在我们记$z$z、$X$X为随机变量，$z_i$z_i、$x_i$x_i代表随机变量的样本。

在这个架构下，我们可以认为数据集是由某个随机过程生成的，而$z$z是这个随机过程中的一个不可观测到的隐变量。这个生成数据的随机过程包含两个步骤：

1. 从先验分布$p(z)$p(z)中采样得到一个$z_i$z_i
2. 根据$z_i，$z_i，从条件分布$p(X\mid z_i)$p(X \mid z_i)中采样得到一个数据点$x_i$x_i

如果我们能基于这个随机过程进行建模，那么我们可能可以更轻易的得到一个生成模型。

3.1 Decoder

首先，让我们从生成模型的角度来考虑Decoder的架构。

上图是一个Decoder架构的示意图。我们给Decoder输入一个从$\mathcal{N}(0,I)$\mathcal{N}(0, I)中采样得到的$z_i，$z_i，其实是希望由$\theta$\theta参数化的Decoder能够学会一个映射，输出$z_i$z_i对应的$X$X的分布，即$p_{\theta }(X\mid z_i)。$p_{\theta}(X \mid z_i)。

让我们假设，给定任意$z_i$z_i后，$X$X都服从某个各维度独立的多元高斯分布，即：

$$p_{\theta }(X\mid z_i)=\mathcal{N}(X\mid {\mu }_i^{\mathrm{\prime }}(z_i;\theta ),{\sigma }_i^{\mathrm{\prime }2}(z_i;\theta )\ast I).$$p_{\theta}(X \mid z_i) = \mathcal{N}(X \mid \mu_i^{\prime}(z_i; \theta), \sigma_i^{\prime2}(z_i; \theta) * I).\\ \\

这样一来，我们只需要输入$z_i$z_i给Decoder，然后让它拟合出${\mu }_i^{\mathrm{\prime }}和{\sigma }_i^{\mathrm{\prime }2}，$\mu_i^{\prime}和\sigma_i^{\prime2}，我们就能知道$X\mid z_i$X \mid z_i 的具体分布了。

我们举个例子来更直观的理解这个过程。我们根据分布$p(z)$p(z)采样出一个$z_i，$z_i，一个$z_i$z_i应当对应图片集$X$X中的某一部分类似的图片。比如说，我们的图片集$X$X可能是世界上所有的猫，那么抽样得到的一个$z_i$z_i可能代表颜色为橘色，耳朵为立耳的猫；而下次抽样得到的另一个$z_j$z_j可能代表颜色为白色，耳朵为折耳的猫。

我们再假设，在这个$z_i$z_i下，这类立耳橘猫的图片像素值的分布$X\mid z_i$X\mid z_i服从一个多元高斯分布$\mathcal{N}({\mu }_i^{\mathrm{\prime }},{\sigma }_i^{\mathrm{\prime }2}\ast I)。$\mathcal{N}(\mu_i^{\prime}, \sigma_i^{\prime2} * I)。这样一来，我们的Decoder只需要通过神经网络，将$z_i$z_i变换为适当的${\mu }_i^{\mathrm{\prime }}和{\sigma }_i^{\mathrm{\prime }2}，${\mu}_i^{\prime}和 {\sigma}_i^{\prime2}，我们就得到了这个多元高斯分布。之后我们就可以从$\mathcal{N}({\mu }_i^{\mathrm{\prime }},{\sigma }_i^{\mathrm{\prime }2}\ast I)$\mathcal{N}(\mu_i^{\prime}, \sigma_i^{\prime2} * I)中采样，得到立耳橘猫的图片了！

3.2 Objective

因为本质上我们希望训练一个生成模型，我们也不妨以一个更加统计的视角来看一个生成模型的目标函数。

对于一个生成模型，我们的终极目标是什么？对，我们就是想对数据本身的分布$p(X)$p(X)进行建模。如果能成功得到一个逼近真实分布$p(X)$p(X)的$p_{\theta }(X)，$p_{\theta}(X)，那么我们就能从中进行采样，生成一些可能的数据点。

如上图，我们举个当$X$X代表所有宝可梦的图片的例子。在得到$p_{\theta }(X)$p_{\theta}(X)后，我们就可以生成一些令$p_{\theta }(x_i)$p_{\theta}(x_i)比较大的$x_i$x_i，这些$x_i$x_i就很可能会是正常的宝可梦的图片。

现在的问题就是，我们怎么对$p_{\theta }(X)$p_{\theta}(X)进行建模呢？

有了之前的铺垫，现在我们有$p(z)=\mathcal{N}(0,I)，p_{\theta }(X\mid z)=\mathcal{N}(X\mid {\mu }_i^{\mathrm{\prime }}(z;\theta ),{\sigma }_i^{\mathrm{\prime }2}(z;\theta )\ast I)。$p(z) = \mathcal{N}(0, I)，p_{\theta}(X \mid z) = \mathcal{N}(X \mid \mu_i^{\prime}(z; \theta), \sigma_i^{\prime2}(z; \theta) * I)。易得，

$$\begin{array}{rl}{p}_{\theta }(X)& ={\int }_z{p}_{\theta }(X\mid z)p(z)dz\\ & \approx \frac{1}{m}\sum _{j=1}^m{p}_{\theta }(X\mid z_j).\end{array}$$\begin{aligned} p_{\theta}(X) &= \int_z p_{\theta}(X \mid z) p(z) d z \\ &\approx \frac{1}{m} \sum_{j=1}^m p_{\theta}(X \mid z_j). \end{aligned}\\

这样问题是不是就解决了呢？我们只要从$p(z)=\mathcal{N}(z\mid 0,I)$p(z) = \mathcal{N}(z \mid 0, I)里采样许多$z_i$z_i出来，就能算出$p_{\theta }(X)。$p_{\theta}(X)。在之前的文章机器学习理论—统计：MLE与MAP中，我们已经介绍过了MLE。在这里，我们就可以利用MLE的思想，让数据集出现的概率最大化，也就是：

$$\begin{array}{rl}{\theta }^{\ast }& ={\mathrm{argmin}}_{\theta }-\sum _{i=1}^n\log p_{\theta }(x_i)\\ & ={\mathrm{argmin}}_{\theta }-\sum _{i=1}^n\log (\frac{1}{m}\sum _{j=1}^m{p}_{\theta }(x_i\mid z_j)).\end{array}$$\begin{aligned} \theta^* &= \operatorname{argmin}_{\theta} - \sum_{i=1}^n \log p_{\theta}(x_i) \\ &= \operatorname{argmin}_{\theta} - \sum_{i=1}^n \log \left( \frac{1}{m} \sum_{j=1}^m p_{\theta}(x_i \mid z_j) \right). \end{aligned}\\

我们确实可以这样做，但是这样做的代价是极大的。因为往往$x_i$x_i的维度会很大，$z_i$z_i的维度也不会很低，并且，对于某个$x_i$x_i而言，与之强相关的$z_i$z_i的数量是相对有限的，但是为了找到这些有限的$z_i，$z_i，我们可能要进行大量的采样。

所以如果我们希望较为准确的估计$p_{\theta }(X)$p_{\theta}(X)的话，我们可能需要采样极大量的$z_i$z_i，只有这样，我们才能让模型知道究竟哪一些$z_i$z_i是与哪一些$x_i$x_i对应着的。

因此，直接从$p(z)$p(z)中采样$z_i，$z_i，用来估计$p_{\theta }(X)$p_{\theta}(X)的策略几乎是不可行的。不过解决这个问题的思路也很直觉，那就是在Encoder中引入后验分布$p_{\theta }(z\mid x_i)。$p_{\theta}(z \mid x_i)。

3.3 Encoder

具体来说，我们怎么在Encoder中利用后验分布呢？假设我们现在有后验分布$p_{\theta }(z\mid x_i)，$p_{\theta}(z \mid x_i)，这样的话，如下图，每次前向传播的时候，我们可以先将$x_i$x_i喂给Encoder，算出$z\mid x_i$z\mid x_i服从的分布。之后，我们就可以直接在这个分布中采样出$z_i，$z_i，喂给Decoder，然后得到$X\mid z_i$X\mid z_i的分布，最后基于MLE优化模型。

在这个策略下，从$p_{\theta }(z\mid x_i)$p_{\theta}(z \mid x_i)中采样出来的$z_i$z_i几乎都会和$x_i$x_i相关的，对比之前，我们可能就省去了很多采样的步骤，极大的提高了效率。

那现在的问题就是，我们怎么计算$p_{\theta }(z\mid x_i)$p_{\theta}(z \mid x_i)呢？我们不妨先尝试下贝叶斯公式：

$$\begin{array}{rl}{p}_{\theta }(z\mid x_i)& =\frac{p_{\theta }(x_i\mid z)p(z)}{p_{\theta }(x_i)}\\ & =\frac{p_{\theta }(x_i\mid z)p(z)}{{\int }_{\hat{z}}{p}_{\theta }(x_i\mid \hat{z})p(\hat{z})d\hat{z}}.\end{array}$$\begin{aligned} p_{\theta}(z \mid x_i) &= \frac{p_{\theta}(x_i \mid z) p(z)}{p_{\theta}(x_i)} \\ &= \frac{p_{\theta}(x_i \mid z) p(z)}{\int_{\hat{z}} p_{\theta}(x_i \mid \hat{z}) p(\hat{z}) d \hat{z}}. \end{aligned}\\

辛运的是，我们之前已经假设了$p_{\theta }(X\mid z)和p(z)$p_{\theta}(X \mid z)和p(z)的分布，所以对于上式的分子，我们是可以直接算出来的。不幸的是，上式的分母又有一个积分，如果去估计这个积分的话，又会需要从$p(z)$p(z)中采样大量的$z_i。$z_i。这显然是代价极大，不太可行的。

这时候我们就可以应用变分贝叶斯算法了！我们不妨令由$\varphi$\phi参数化的Encoder去拟合对任意$x_i$x_i的分布$q_{\varphi }(z\mid x_i)，$q_{\phi}(z \mid x_i)，我们希望这个分布能够尽可能的逼近真实的后验分布$p_{\theta }(z\mid x_i)。$p_{\theta}(z \mid x_i)。如果$q_{\varphi }(z\mid x_i)$q_{\phi}(z \mid x_i)能够足够逼近真实的后验分布的话，我们就可以直接通过Encoder得到$z\mid x_i$z \mid x_i的分布了！

我们怎么用神经网络去拟合后验分布呢？和之前一样，我们只要知道这个后验是服从的什么分布，然后让模型拟合这个分布所需的参数就行了。举个例子，如果这个后验分布本质上是一个多元高斯分布，那么我们让Encoder输出$\mu$\mu和${\mathrm{\Sigma }}^2$\Sigma^2就能拟合这个分布了。

回忆一下，我们之前已经对似然$p_{\theta }(X\mid z)$p_{\theta}(X \mid z)和先验$p(z)$p(z)的分布做了假设——它们都服从高斯分布。在这种情况下，不难证明，真实的后验分布$p_{\theta }(z\mid X)$p_{\theta}(z \mid X)也服从高斯分布。

那不妨令近似后验分布对任意$x_i$x_i都有

$$q_{\varphi }(z\mid x_i)=\mathcal{N}(z\mid \mu (x_i;\varphi ),{\sigma }^2(x_i;\varphi )\ast I),$$q_{\phi}(z \mid x_i) = \mathcal{N}(z \mid \mu(x_i; \phi), \sigma^2(x_i; \phi) * I),\\ \\

即，它也是一个各维度独立的多元高斯分布。这样一来，整个VAE的架构就非常明了了。

3.4 Architecture

下图即是VAE的架构示例。其中$x_i^{(j)}$x_i^{(j)}代表第$i$i个数据点的第$j$j的特征。

总结一下VAE的架构：

1. 我们首先给Encoder输入一个数据点$x_i，$x_i，通过神经网络，我们得到隐变量$z$z服从的近似后验分布$q_{\varphi }(z\mid x_i)$q_{\phi}(z \mid x_i)的参数。我们往往认为后验分布是一个各维度独立的高斯分布，因此令Encoder输出$z\mid x_i$z\mid x_i服从的高斯分布的参数${\sigma }_i^2$\sigma_i^2和${\mu }_i$\mu_i即可。
   
2. 有了$z\mid x_i$z \mid x_i分布的参数${\sigma }_i^2$\sigma_i^2和${\mu }_i$\mu_i后，我们从对应的高斯分布中采样出一个$z_i，$z_i，这个$z_i$z_i应当代表与$x_i$x_i相似的一类样本。
   
3. 我们令Decoder拟合似然的分布$p_{\theta }(X\mid z_i)。$p_{\theta}(X \mid z_i)。喂给Decoder一个$z_i，$z_i，它应当返回$X\mid z_i$X \mid z_i服从的分布的参数。我们往往认为似然也服从一个各维度独立的高斯分布，因此令Decoder输出$X\mid z_i$X\mid z_i服从的高斯分布的参数${\sigma }_i^{\mathrm{\prime }2}$\sigma^{\prime2}_i和${\mu }_i^{\mathrm{\prime }}$\mu^{\prime}_i即可。
   
4. 在得到$X\mid z_i$X\mid z_i的分布的参数后，理论上我们需要从这个分布中进行采样，来生成可能的数据点$x_i$x_i。
   

上述第四点中值得注意的是，在大部分实现中，人们往往不进行采样，而是直接将模型输出的${\mu }_i^{\mathrm{\prime }}$\mu^{\prime}_i当作是给定$z_i$z_i生成的数据点$x_i。$x_i。

除此之外，人们也往往认为$p_{\theta }(X\mid z_i)$p_{\theta}(X \mid z_i)是一个固定方差的各维度独立的多元高斯分布，即$p_{\theta }(X\mid z_i)=\mathcal{N}(X\mid {\mu }_i^{\mathrm{\prime }}(z_i;\theta ),{\sigma }^{\mathrm{\prime }2}\ast I)，$p_{\theta}(X \mid z_i) = \mathcal{N}(X \mid \mu_i^{\prime}(z_i; \theta), \sigma^{\prime2} * I)，其中${\sigma }^{\mathrm{\prime }2}$\sigma^{\prime2}是一个人为给定的超参数。这意味着我们实际中并不真的让模型输出${\sigma }_i^{\mathrm{\prime }2}，$\sigma^{\prime2}_i，模型只要输出${\mu }_i^{\mathrm{\prime }}$\mu_i^{\prime}就行了。

3.5 Reparameterization Trick

上述VAE的架构应该是比较清晰的，但让我们再仔细研究一下这个架构。尽管现在我们还没有推导得到最终的损失函数，但让我们先假设，在上述步骤4后，我们会接某个损失函数$\mathcal{L}$\mathcal{L}来训练神经网络。

这样的话，从神经网络训练的角度来看，这个架构的前向传播过程是没有问题的，上述步骤1-4均可顺利的进行前向传播，然后计算出损失的值。

然而，令人在意的一个问题是：我们在前向传播的第2步，居然调用了一个"采样函数"，从$z\mid x_i$z\mid x_i中采样出来了$z_i$z_i喂给Decoder！那采样函数能够进行反向传播吗？

答案显然是不能的。因此，为了让整个网络能够正常的训练，作者们提出了Reparameterization Trick。这一技巧将上述第2步改为：

1. 有了$z\mid x_i$z \mid x_i分布的参数${\sigma }_i^2$\sigma_i^2和${\mu }_i$\mu_i后，我们先从$\mathcal{N}(0,I)$\mathcal{N}(0,I)中采样得到一个${ϵ}_i$\epsilon_i，然后我们令$z_i={\mu }_i+{\sigma }_i\odot {ϵ}_i，$z_i = \mu_i + \sigma_i \odot \epsilon_i，这个$z_i$z_i应当代表与$x_i$x_i相似的一类样本。

其中，$\odot$\odot代表逐元素相乘操作。不难证明，此时$z_i$z_i背后的分布依然是由${\sigma }_i^2$\sigma_i^2和${\mu }_i$\mu_i参数化的一个高斯分布。

利用了Reparameterization Trick后，VAE的架构变成了下图中的模样，其中${ϵ}_i$\epsilon_i可以看作是伴随$z_i$z_i喂给Decoder的一个特征。这样一来，这个架构的前向、反向传播就都能跑通了。

3.6 Evidence Lower Bound

好了，我们已经把VAE的架构定下来了。现在我们只要顺着3.2节中MLE的思想，然后在最大化$\log p_{\theta }(X)$\log p_{\theta}(X)时，加入变分推断的思想，引入ELBO (Evidence Lower Bound)，我们就能得到一个靠谱的目标函数了。

让我们来推一下：

$$\begin{array}{rl}\log p_{\theta }(X)& ={\int }_z{q}_{\varphi }(z\mid X)\log p_{\theta }(X)dz全概率定理\\ & ={\int }_z{q}_{\varphi }(z\mid X)\log \frac{p_{\theta }(X,z)}{p_{\theta }(z\mid X)}dz贝叶斯定理\\ & ={\int }_z{q}_{\varphi }(z\mid X)\log (\frac{p_{\theta }(X,z)}{q_{\varphi }(z\mid X)}\cdot \frac{q_{\varphi }(z\mid X)}{p_{\theta }(z\mid X)})dz\\ & ={\int }_z{q}_{\varphi }(z\mid X)\log \frac{p_{\theta }(X,z)}{q_{\varphi }(z\mid X)}dz+{\int }_z{q}_{\varphi }(z\mid X)\log \frac{q_{\varphi }(z\mid X)}{p_{\theta }(z\mid X)}dz\\ & =\ell (p_{\theta },q_{\varphi })+D_{KL}(q_{\varphi },p_{\theta })\\ & \ge \ell (p_{\theta },q_{\varphi })KL散度非负.\end{array}$$\begin{aligned} \log p_{\theta}(X) &=\int_{z} q_{\phi}(z \mid X) \log p_{\theta}(X) dz \quad 全概率定理\\ &=\int_{z} q_{\phi}(z \mid X) \log \frac{p_{\theta}(X, z)}{p_{\theta}(z \mid X)} dz \quad 贝叶斯定理\\ &=\int_{z} q_{\phi}(z \mid X) \log \left(\frac{p_{\theta}(X, z)}{q_{\phi}(z \mid X)} \cdot \frac{q_{\phi}(z \mid X)}{p_{\theta}(z \mid X)}\right) dz\\ &=\int_{z} q_{\phi}(z \mid X) \log \frac{p_{\theta}(X, z)}{q_{\phi}(z \mid X)} dz + \int_{z} q_{\phi}(z \mid X) \log \frac{q_{\phi}(z \mid X)}{p_{\theta}(z \mid X)} dz\\ &=\ell\left(p_{\theta}, q_{\phi}\right)+D_{K L}\left(q_{\phi}, p_{\theta}\right) \\ & \geq \ell\left(p_{\theta}, q_{\phi}\right) \quad KL散度非负. \end{aligned}\\

我们已经在之前的文章机器学习理论—信息论：自信息、熵、交叉熵与KL散度 中的第四章证明了KL散度是恒大于等于零的，因此显然上式中$\ell (p_{\theta },q_{\varphi })$\ell\left(p_{\theta}, q_{\phi}\right)是$\log p_{\theta }(X)$\log p_{\theta}(X)的一个下界，也因此我们称$\ell$\ell为ELBO (Evidence Lower Bound)。

我们不妨在把上式变换一下，易得：

$$\ell (p_{\theta },q_{\varphi })=\log p_{\theta }(X)-D_{KL}(q_{\varphi },p_{\theta }).$$\ell\left(p_{\theta}, q_{\phi}\right) = \log p_{\theta}(X) - D_{K L}\left(q_{\phi}, p_{\theta}\right).\\ \\

这个式子实在是太完美了！这个式子告诉我们，我们只需要最大化$\ell ，$\ell，就能最大化$\log p_{\theta }(X)，$\log p_{\theta}(X)，并且最小化$D_{KL}(q_{\varphi },p_{\theta })。$D_{K L}\left(q_{\phi}, p_{\theta}\right)。

最大化$\log p_{\theta }(X)$\log p_{\theta}(X)的理由是显然的，因为我们希望最大化似然。我们为什么希望最小化$D_{KL}(q_{\varphi },p_{\theta })$D_{K L}\left(q_{\phi}, p_{\theta}\right)呢？其实原因也是显然的，因为我们希望近似后验$q_{\varphi }(z\mid X)$q_{\phi}(z\mid X)能够逼近真实后验$p_{\theta }(z\mid X)，$p_{\theta}(z \mid X)，否则的话Encoder可能只能输出一些无意义的分布。

既然我们希望最大化$\ell ，$\ell，现在我们进一步对其进行展开，不难得到：

$$\begin{array}{rl}\ell (p_{\theta },q_{\varphi })& ={\int }_z{q}_{\varphi }(z\mid X)\log \frac{p_{\theta }(X,z)}{q_{\varphi }(z\mid X)}dz\\ & ={\int }_z{q}_{\varphi }(z\mid X)\log \frac{p_{\theta }(X\mid z)p(z)}{q_{\varphi }(z\mid X)}dz贝叶斯定理\\ & ={\int }_z{q}_{\varphi }(z\mid X)\log \frac{p(z)}{q_{\varphi }(z\mid X)}dz+{\int }_z{q}_{\varphi }(z\mid X)\log p_{\theta }(X\mid z)dz\\ & =-D_{KL}(q_{\varphi },p)+{\mathbb{E}}_{q_{\varphi }}[\log p_{\theta }(X\mid z)].\end{array}$$\begin{aligned} \ell\left(p_{\theta}, q_{\phi}\right) &= \int_{z} q_{\phi}(z \mid X) \log \frac{p_{\theta}(X, z)}{q_{\phi}(z \mid X)} dz \\ &=\int_{z} q_{\phi}(z \mid X) \log \frac{p_{\theta}(X \mid z) p(z)}{q_{\phi}(z \mid X)} dz \quad 贝叶斯定理 \\ &=\int_{z} q_{\phi}(z \mid X) \log \frac{p(z)}{q_{\phi}(z \mid X)} dz + \int_{z} q_{\phi}(z \mid X) \log p_{\theta}(X \mid z) dz \\ &=-D_{K L}\left(q_{\phi}, p\right)+\mathbb{E}_{q_{\phi}}\left[\log p_{\theta}(X \mid z)\right]. \end{aligned}\\

让我们再将上述两项分别展开。

首先，让我们看下$-D_{KL}(q_{\varphi },p)$-D_{K L}\left(q_{\phi}, p\right)这一项。人们通常称这一项为Latent Loss或者将其看做一个正则项。回忆一下，我们之前已经假设了$q_{\varphi }(z\mid X)$q_{\phi}(z \mid X) 和$p(z)$p(z)均服从高斯分布，辛运的是，在这种情况下，我们能够得到$D_{KL}(q_{\varphi },p)$D_{K L}\left(q_{\phi}, p\right)的解析解。

更加幸运的是，我们把它们都设成了各维度独立的高斯分布，所以我们可以直接从一维的情况进行推导：

$\begin{array}{rl}{D}_{KL}(\mathcal{N}(\mu ,{\sigma }^2)\Vert \mathcal{N}(0,1))& ={\int }_z\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{{(z-\mu )}^2}{2{\sigma }^2})\log \frac{\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{{(z-\mu )}^2}{2{\sigma }^2})}{\frac{1}{\sqrt{2\pi }}\exp (-\frac{z^2}{2})}dz\\ & ={\int }_z(\frac{-{(z-\mu )}^2}{2{\sigma }^2}+\frac{z^2}{2}-\log \sigma )\mathcal{N}(\mu ,{\sigma }^2)dz\\ & =-{\int }_z\frac{{(z-\mu )}^2}{2{\sigma }^2}\mathcal{N}(\mu ,{\sigma }^2)dz+{\int }_z\frac{z^2}{2}\mathcal{N}(\mu ,{\sigma }^2)dz-{\int }_z\log \sigma \mathcal{N}(\mu ,{\sigma }^2)dz\\ & =-\frac{\mathbb{E}\left[{(z-\mu )}^2\right]}{2{\sigma }^2}+\frac{\mathbb{E}\left[z^2\right]}{2}-\log \sigma \\ & =\frac{1}{2}(-1+{\sigma }^2+{\mu }^2-\log {\sigma }^2).\end{array}$\begin{aligned} D_{K L}(\mathcal{N}\left(\mu, \sigma^{2}\right)\| \mathcal{N}(0,1)) &=\int_{z} \frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp \left(-\frac{\left(z-\mu\right)^{2}}{2 \sigma^{2}}\right) \log \frac{\frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp \left(-\frac{\left(z-\mu\right)^{2}}{2 \sigma^{2}}\right)}{\frac{1}{\sqrt{2 \pi}} \exp \left(-\frac{z^{2}}{2}\right)} d z \\ &=\int_{z}\left(\frac{-\left(z-\mu\right)^{2}}{2 \sigma^{2}}+\frac{z^{2}}{2}-\log \sigma\right) \mathcal{N}\left(\mu, \sigma^{2}\right) d z \\ &=-\int_{z} \frac{\left(z-\mu\right)^{2}}{2 \sigma^{2}} \mathcal{N}\left(\mu, \sigma^{2}\right) d z+\int_{z} \frac{z^{2}}{2} \mathcal{N}\left(\mu, \sigma^{2}\right) d z-\int_{z} \log \sigma \mathcal{N}\left(\mu, \sigma^{2}\right) d z \\ &=-\frac{\mathbb{E}\left[\left(z-\mu\right)^{2}\right]}{2 \sigma^{2}}+\frac{\mathbb{E}\left[z^{2}\right]}{2}-\log \sigma \\ &= \frac{1}{2}(-1 + \sigma^2 + \mu^2 - \log \sigma^2). \end{aligned}

当它们都是$d$d元高斯分布时，易得：

$$D_{KL}(q_{\varphi }(z\mid X),p(z))=\sum _{j=1}^d\frac{1}{2}(-1+{{\sigma }^{(j)}}^2+{{\mu }^{(j)}}^2-\log {{\sigma }^{(j)}}^2).$$D_{K L}\left(q_{\phi}(z\mid X), p(z)\right) = \sum_{j=1}^d \frac{1}{2}(-1 + {\sigma^{(j)}}^{2} + {\mu^{(j)}}^{2} - \log {\sigma^{(j)}}^{2}).\\ \\

其中${a^{(j)}}^2${a^{(j)}}^{2}代表向量$a$a的第$j$j个元素的平方。

至此，最后的问题就是，${\mathbb{E}}_{q_{\varphi }}[\log p_{\theta }(X\mid z)]$\mathbb{E}_{q_{\phi}}\left[\log p_{\theta}(X \mid z)\right]怎么求呢？这一项往往被称为Reconstruction Loss，人们通常从$q_{\varphi }(z\mid X)$q_{\phi}(z\mid X)中采样多个$z_i$z_i来近似求解这一项，即：

$${\mathbb{E}}_{q_{\varphi }}[\log p_{\theta }(X\mid z)]\approx \frac{1}{m}\sum _{i=1}^m\log p_{\theta }(X\mid z_i),$$\mathbb{E}_{q_{\phi}}\left[\log p_{\theta}(X \mid z)\right] \approx \frac{1}{m} \sum_{i=1}^{m} \log p_{\theta}\left(X \mid z_{i}\right), \\

其中，$z_i\sim q_{\varphi }(z\mid x_i)=\mathcal{N}(z\mid \mu (x_i;\varphi ),{\sigma }^2(x_i;\varphi )\ast I)。$z_{i} \sim q_{\phi}\left(z \mid x_{i}\right)=\mathcal{N}\left(z \mid \mu\left(x_{i} ; \phi\right), \sigma^2\left(x_{i} ; \phi\right) * I\right)。

现在我们来看$\log p_{\theta }(X\mid z_i)$\log p_{\theta}\left(X \mid z_{i}\right)这一项怎么展开。我们之前已经假设过$X\mid z_i$X\mid z_i服从一个固定方差的各维度独立的多元高斯分布，即$p_{\theta }(X\mid z_i)=\mathcal{N}(X\mid {\mu }_i^{\mathrm{\prime }}(z_i;\theta ),{\sigma }^{\mathrm{\prime }2}\ast I)。$p_{\theta}(X \mid z_i) = \mathcal{N}(X \mid \mu_i^{\prime}(z_i; \theta), \sigma^{\prime2} * I)。

有了之前的文章损失函数（二）：MSE、0-1 Loss与Logistic Loss中的2.2节的基础后，我们知道，若假设数据为固定方差的高斯分布，MLE后得到的目标函数，等价于MSE。但我们这里还是先把它写开，设每个数据点$x_i$x_i的维度为$K$K，即$X\mid z_i$X\mid z_i服从一个$K$K维高斯分布，易得：

$$\begin{array}{rl}\log p_{\theta }(X\mid z_i)& =\log \frac{\exp (-\frac{1}{2}(X-{\mu }^{\mathrm{\prime }}{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{\mathrm{\prime }-1}(X-{\mu }^{\mathrm{\prime }}))}{\sqrt{(2\pi {)}^k|{\mathrm{\Sigma }}^{\mathrm{\prime }}|}}\\ & =-\frac{1}{2}(X-{\mu }^{\mathrm{\prime }}{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{\mathrm{\prime }-1}(X-{\mu }^{\mathrm{\prime }})-\log \sqrt{(2\pi {)}^k|{\mathrm{\Sigma }}^{\mathrm{\prime }}|}\\ & =-\frac{1}{2}\sum _{k=1}^K\frac{(X^{(k)}-{\mu }^{\mathrm{\prime }(k)}{)}^2}{{\sigma }^{\mathrm{\prime }(k)}}-\log \sqrt{(2\pi {)}^K\prod _{k=1}^K{\sigma }^{\mathrm{\prime }(k)}}.\end{array}$$\begin{aligned} \log p_{\theta}\left(X \mid z_{i}\right) &= \log \frac{\exp \left(-\frac{1}{2}(X-\mu^{\prime})^{\mathrm{T}} {\Sigma}^{\prime-1}({X}-{\mu^{\prime}})\right)}{\sqrt{(2 \pi)^{k}|{\Sigma^{\prime}}|}} \\ &= -\frac{1}{2}(X-\mu^{\prime})^{\mathrm{T}} {\Sigma}^{\prime-1}({X}-{\mu^{\prime}}) - \log \sqrt{(2 \pi)^{k}|\Sigma^{\prime}|} \\ &= -\frac{1}{2} \sum_{k=1}^K \frac{(X^{(k)}-\mu^{\prime(k)})^2}{\sigma^{\prime(k)}} - \log \sqrt{(2 \pi)^{K}\prod_{k=1}^{K} \sigma^{\prime(k)}}. \end{aligned}\\

这样，我们就有了最终的损失函数所需要的所有模块了。

3.7 Loss Function

让我们把上一节中的推导整合起来。现在希望最小化损失函数：

$$\begin{array}{rl}\mathcal{L}& =-\frac{1}{n}\sum _{i=1}^n\ell (p_{\theta },q_{\varphi })\\ & =\frac{1}{n}\sum _{i=1}^n{D}_{KL}(q_{\varphi },p)-\frac{1}{n}\sum _{i=1}^n{\mathbb{E}}_{q_{\varphi }}[\log p_{\theta }(x_i\mid z)]\\ & =\frac{1}{n}\sum _{i=1}^n{D}_{KL}(q_{\varphi },p)-\frac{1}{nm}\sum _{i=1}^n\sum _{j=1}^m\log p_{\theta }(x_i\mid z_j).\end{array}$$\begin{aligned} \mathcal{L} &= - \frac{1}{n} \sum_{i=1}^n \ell(p_{\theta}, q_{\phi}) \\ &= \frac{1}{n} \sum_{i=1}^nD_{K L}\left(q_{\phi}, p\right) - \frac{1}{n} \sum_{i=1}^n \mathbb{E}_{q_{\phi}}\left[\log p_{\theta}(x_i \mid z)\right] \\ &= \frac{1}{n} \sum_{i=1}^nD_{K L}\left(q_{\phi}, p\right) - \frac{1}{nm} \sum_{i=1}^n \sum_{j=1}^{m} \log p_{\theta}\left(x_i \mid z_{j}\right). \end{aligned}\\