ベクトル量子化(VQ)を用いたVAEである「VQ-VAE」を、敵対的生成ネットワーク(GAN)に発展させた新しい画像生成モデルが「VQGAN」です。
このVQGANと、テキストと画像という異なるデータを結びつけるニューラルネットワークの「CLIP」を組み合わせることで、「入力したテキストから画像を生成するモデル」をライアン・モールトンさんが作成しています。
（以下略、続きはソースでご確認下さい）
Gigazine 2021年07月26日 19時00分
https://gigazine.net/news/20210726-vqgan-clip-generate-iamge/
