StyleGAN的发展史

StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets（2022）

https://sites.google.com/view/stylegan-xl/

StyleGAN3 (2021)

• Project page: Alias-Free Generative Adversarial Networks (StyleGAN3)
• ArXiv: https://arxiv.org/abs/2106.12423
• PyTorch implementation: GitHub - NVlabs/stylegan3: Official PyTorch implementation of StyleGAN3

StyleGAN2-ADA (2020)

• ArXiv: https://arxiv.org/abs/2006.06676
• PyTorch implementation: GitHub - NVlabs/stylegan2-ada-pytorch: StyleGAN2-ADA - Official PyTorch implementation
• TensorFlow implementation: GitHub - NVlabs/stylegan2-ada: StyleGAN2 with adaptive discriminator augmentation (ADA) - Official TensorFlow implementation
• MetFaces dataset: GitHub - NVlabs/metfaces-dataset

StyleGAN2 (2019)

• ArXiv: https://arxiv.org/abs/1912.04958
• Video: https://youtu.be/c-NJtV9Jvp0
• TensorFlow implementation: GitHub - NVlabs/stylegan2: StyleGAN2 - Official TensorFlow Implementation

StyleGAN (2018)

• ArXiv: https://arxiv.org/abs/1812.04948
• Video: https://youtu.be/kSLJriaOumA
• TensorFlow implementation: GitHub - NVlabs/stylegan: StyleGAN - Official TensorFlow Implementation
• FFHQ dataset: GitHub - NVlabs/ffhq-dataset: Flickr-Faces-HQ Dataset (FFHQ)

Progressive GAN (2017)

• ArXiv: https://arxiv.org/abs/1710.10196
• Video: https://youtu.be/G06dEcZ-QTg
• TensorFlow implementation:
  GitHub - tkarras/progressive_growing_of_gans: Progressive Growing of GANs for Improved Quality, Stability, and Variation
• Theano implementation:
  GitHub - tkarras/progressive_growing_of_gans at original-theano-version
• CelebA-HQ dataset:
  GitHub - tkarras/progressive_growing_of_gans: Progressive Growing of GANs for Improved Quality, Stability, and Variation

我有见到有人使用 Progressive GAN生成分子图像：https://towardsdatascience.com/molecule-synthesis-using-ai-10e0e1f89568

---

StyleGAN (2018)

A Style-Based Generator Architecture for Generative Adversarial Networks（基于风格的生成对抗网络生成器体系结构）

StyleGAN是当时最先进的高分辨率图像合成方法，已被证明可以在各种数据集上可靠地工作。除了逼真的人像，StyleGAN还可以用于生成其他动物，汽车甚至房间。

并且它也可以控制生成的人脸的风格（控制头发、眼睛...）

StyleGAN2 (2019)：

Analyzing and Improving the Image Quality of StyleGAN（优化和提升StyleGAN的图像质量）

主要改进包括：（着重处理的伪影问题）

1. 生成的图像质量明显更好(FID分数更高、artifacts减少)
2. 提出替代progressive growing的新方法，牙齿、眼睛等细节更完美
3. 改善了Style-mixing
4. 更平滑的插值(额外的正则化)
5. 训练速度更快

StyleGAN2-ADA (2020)：

Training Generative Adversarial Networks with Limited Data（用有限的数据训练生成对抗网络）

StyleGAN、StyleGAN2的生成效果非常好，很大原因是有强大的数据集，比如生成的高清人脸训练集有14w张（FFHQ有7w张，图像翻转x2就是14w张）。大规模的数据集一般情况下很难采集，但是小数据集会导致模型过拟合，为了解决过拟合，可以在训练的时候对数据进行图像增强，比如随机裁剪、水平翻转、加噪声、一定范围内改变色调等。但是，数据增强会导致生成图片也有对应的增强，比如对原图加入了噪声，会导致生成图片也有噪声，这是我们不期望看到的。如何让小数据集的数据增强不出现在生成结果中呢？

这篇论文提出了stylegan2-ada方法。ada全称是adaptive discriminator augmentation，解决了需要训练的数据量大，以及使用数据增强后生成的图像带有噪声的问题

StyleGAN3 (2021)

Alias-Free Generative Adversarial Networks（Alias-Free生成对抗网络）

在GAN的合成过程中，某些特征依赖于绝对像素坐标，这会导致：【细节似乎粘在图像坐标上，而不是所要生成对象的表面】，而stylegan3从根本上解决了stylegan2图像坐标与特征粘连的问题，实现了真正的图像平移、旋转等不变性，大幅度提高了图像合成质量。

通过上图可以看出来stylegan2生成的毛发等细节会粘在屏幕上，和人物的形态变化不一致。