世界是不平的
16世纪，在欧亚人类与美洲人类独立发展1万多年之后，欧洲人终于拥有了不费吹灰之力征服美洲人的能力。仅仅过了300年，欧洲工业革命又让西方轻而易举的击败了东方。
技术是在指数发展的，技术更新迭代的周期一直在不断地缩短。今天，由于全球化，国家间的技术差距不再是几千年，几百年的差距。但是，即使是几年，几十年的差距，表现出来的统治力，破坏力的差距，却比几百年前要大得多。
GAN学习笔记（未完待补充）
以下是我学习Coursera课程Build Basic Generative Adversarial Networks (GANs)后写下的笔记。
GANGAN把对训练样本概率分布进行建模的问题(Generative Model)，转换成两个模型之间的二人非合作博弈问题。一个模型是生成器(generator)。它以一个低维的随机噪声向量作为输入，产生随机“假”样本。另外一个则是判别器(discriminator)，试图正确辨别生成器生成的“假”样本以及训练样本中的“真”样本。在辨别真假的训练过程中，判别器给每个假样本打分，并把分数告诉生成器。生成器则利用这些分数信息，试图在下一轮博弈中生成出仿真效果更好的假样本。质量更高的假样本反过来又推动判别器学会更好的辨别真伪。生成器就在这样的竞争中不断优化，生成出仿真度越来越高的样本。DCGANDCGAN也就是deep convolution GAN，源自于2016的论文。生成器和判别器都采用卷积神经网络的模型。据论文描述，这是第一次成功的将CNN应用到GAN上面，而成功的原因主要是因为结合了当时一些新技术，比如去掉了pooling layer，采用batch normalization，等等。WGAN值得注意的是，生成器在训练过程中是看不到真实样本的；它所依靠的就是判别器对每个图片的打分。因此判别器的打分对生成器的训练效果至关重要。现实中的图片因为各种限制，其实是可以通过一个维度小很多的随机变量映射过来的。同样的，生成器生成的图片显然也有这个性质。当维度很小的随机变量映射到高维空间时，很容易找到一个超平面完美的将真伪样本区分。那么对于采用cross entropy loss的判别器，很容易就直接给出0或者1的分数，从而无法给生成器有效的优化信息。Wasserstein GAN（WGAN）的提出正是为了解决这个问题。Wasserstein GAN采用Wasserstein metric作为优化目标。而Wasserstein metric衡量的是把一个概率分布“挪到”另外一个概率分布的所需要的最短平均距离。比起cross entropy，Wasserstein metric更加的平滑，因此即使生成器生成出来的样本与真实样本相距甚远，判别器打出的分数也能能够帮助生成器往正确方向优化。对于GAN的缺点以及WGAN是如何（部分）解决这…
GANGAN把对训练样本概率分布进行建模的问题(Generative Model)，转换成两个模型之间的二人非合作博弈问题。一个模型是生成器(generator)。它以一个低维的随机噪声向量作为输入，产生随机“假”样本。另外一个则是判别器(discriminator)，试图正确辨别生成器生成的“假”样本以及训练样本中的“真”样本。在辨别真假的训练过程中，判别器给每个假样本打分，并把分数告诉生成器。生成器则利用这些分数信息，试图在下一轮博弈中生成出仿真效果更好的假样本。质量更高的假样本反过来又推动判别器学会更好的辨别真伪。生成器就在这样的竞争中不断优化，生成出仿真度越来越高的样本。DCGANDCGAN也就是deep convolution GAN，源自于2016的论文。生成器和判别器都采用卷积神经网络的模型。据论文描述，这是第一次成功的将CNN应用到GAN上面，而成功的原因主要是因为结合了当时一些新技术，比如去掉了pooling layer，采用batch normalization，等等。WGAN值得注意的是，生成器在训练过程中是看不到真实样本的；它所依靠的就是判别器对每个图片的打分。因此判别器的打分对生成器的训练效果至关重要。现实中的图片因为各种限制，其实是可以通过一个维度小很多的随机变量映射过来的。同样的，生成器生成的图片显然也有这个性质。当维度很小的随机变量映射到高维空间时，很容易找到一个超平面完美的将真伪样本区分。那么对于采用cross entropy loss的判别器，很容易就直接给出0或者1的分数，从而无法给生成器有效的优化信息。Wasserstein GAN（WGAN）的提出正是为了解决这个问题。Wasserstein GAN采用Wasserstein metric作为优化目标。而Wasserstein metric衡量的是把一个概率分布“挪到”另外一个概率分布的所需要的最短平均距离。比起cross entropy，Wasserstein metric更加的平滑，因此即使生成器生成出来的样本与真实样本相距甚远，判别器打出的分数也能能够帮助生成器往正确方向优化。对于GAN的缺点以及WGAN是如何（部分）解决这…
Comments
Post a Comment