tensorflow2-generative-models：实践指南

实际看tensorflow2-generative-models，先要确认它的用途：Tensorflow 2 中多种生成模型的实现，GAN、VAE、Seq2Seq、VAEGAN、GAIA、频谱图反演，所有内容都独立包含在 jupyter 笔记本中。内容与市场工作里，受众、平台规则和事实依据容易被统一模板抹平。我会选一个已有主题制作可人工复核的样稿，检查事实准确性、平台适配、语气和修改成本。它适合有明确品牌标准并保留人工审校的团队；采用前仍要看维护状态和试跑结果。

Tensorflow 2 中的生成模型

Tim Sainburg（PhD 候选者，UCSD，Gentner 实验室）

这是一个小项目，用于在 Tensorflow 2 中实现多个生成模型。层和优化器使用 Keras。这些模型针对两个数据集实现：时尚 MNIST 和 NSYNTH。编写网络的目标是尽可能简单和一致，同时仍然具有可读性。由于每个网络都是独立包含在笔记本中的，因此它们应该可以在 Colab 会话中轻松运行。

包含型号：

自动编码器（AE）

一个简单的自动编码器网络。

变分自动编码器 (VAE)（文章）

原始变分自动编码器网络，使用 tensorflow_probability

生成对抗网络（GAN）（文章）

GANs 是神经网络的一种形式，其中两个子网络（编码器和解码器）接受相反损失函数的训练：编码器被训练以生成与真实数据无法区分的数据，解码器被训练以区分数据和生成数据。

带梯度惩罚的 Wasserstein GAN (WGAN-GP)（文章）

WGAN-GP 是对原始损失函数进行改进以提高训练稳定性的 GAN。

VAE-GAN（文章）

VAE-GAN 结合了 VAE 和 GAN 对生成器中数据的潜在表示进行自动编码，以改进自动编码器中使用的像素误差函数。

生成对抗性插值自动编码器 (GAIA)（文章）

GAIA 是一种自动编码器，通过对真实数据的潜在空间投影中的插值进行对抗性训练来训练学习凸潜在表示。这是对原始算法的实验性修改。原始算法请参见这里：https://github.com/timsainb/gaia

其他笔记本：

Seq2Seq Autoencoder (without attention) (Fasion MNIST: | NSYNTH: )

Seq2Seq 模型使用循环神经网络单元（如 LSTMs）来更好地捕获数据中的顺序组织。此实现使用卷积层作为 LSTM 单元的输入，以及单个双向 LSTM 层。

Tensorflow 中的谱图、梅尔缩放、MFCCs 和反演

Tensorflow 有一个信号处理包，允许我们从波形生成频谱图作为数据集迭代器的一部分，而不是预先生成第二个频谱图数据集。该笔记本可以作为如何完成此操作的参考。频谱图反演是使用 Griffin-Lim 算法完成的。

NSynth 的迭代器

NSYNTH 数据集是一组保存为波形的数千个音符。为了将它们作为频谱图输入 Seq2Seq 模型，我编写了一个小型数据集类，该数据集类可转换为张量流中的频谱图（使用频谱图笔记本中的代码）。