【资源记录】VAE 学习笔记

首先放上一组我很喜欢的中文博客，讲VAE：

VAE全面理解（上）

https://blog.csdn.net/weixin_40955254/article/details/82315224

VAE全面理解（下）

https://blog.csdn.net/weixin_40955254/article/details/82315909

三顾VAE

https://blog.csdn.net/weixin_40955254/article/details/101037614

然后有一篇英文博客，角度稍有不同，但也很好，与上面的博客互相有补充：

VAE Careful Walkthrough

https://medium.com/@schatty/vae-careful-walkthrough-5d01e7dbf1ab

其中，高亮的一段：

这里讲最大化P(X)是生成模型的目标，然而在上式等号右边的p(z)dz无法计算，so let’s introduce 𝑃(𝑧|𝑋) to sample values from 𝑧 likely to produce 𝑋, not the whole 𝑃(𝑧) possibilities that is too hard from computational perspective. (前面这句翻译成白话就是，本来我们想找到使P(X)最大化的z，但是最大化P(X)的计算不太现实，所以我们直接算一个跟真实情况很接近的P(z|x)，直接从这个分布里sample z 就也能达到目的了。) But 𝑃(𝑧|𝑋) is unknown too yet.(这里p(z|X)是一个真实世界的模型)。所以我们引入一个Q(z|x)，附和高斯分布，并求Q的mean和variance。 Now variational inference role is to approximate 𝑃(𝑧|𝑋) with 𝑄(𝑧|𝑋).。这很有助于理解中文博客中的数学式子（的目的）。

另外，英文博客中的图：

decoder部分里写的 p(z|x) ，我觉得不是很恰当，其实应该是p(x|z)更好理解 。不过p(x|z)也是要由p(z|x)用贝叶斯公式推出来。

这个图里也直接列出了 两个loss，不过尤其是对于reconstruction loss 我觉得中文博客讲的更好。然而，看了代码实现之后 （https://www.sohu.com/a/226209674_500659 厘米有代码实现），我感觉其实这个loss的数学式比起代码来说抽象太多。代码里这部分的loss就是比较生成的图片和输入图片的区别，而数学式这里，更符合数学推导结论。相关数学推导，在第二个中文博客里很清晰 ：

如下图 L = Lv + Dkl(...)， 对于P(x)，它的值是固定的，所以为了最小化分布q(z|x)和p(z|x)之间的距离，需要最大化这个Lv。Lv就是 ELBO (Error Lower Bound Optimization)。

这个红色部分对应的是解码器部分，即要求在训练过程中，回构出来的图像要尽量的与输入的图像相同。

关于 reparameterization 重参数

建议去去看上面那个搜狐链接(同时有代码的那个)。

如有问题，恳请指正，欢迎讨论，谢谢大家。

=========================================

2020.9.9 更新

最近又发现，Bayesian Neural Network 中也有ELBO，跟VAE很相似，http://www.cs.toronto.edu/~rgrosse/courses/csc421_2019/slides/lec19.pdf。