テクノスピーチが研究してる新しいニューラルボコーダはParallelWaveGANベースだから4コア以上のデスクトップ用CPUならリアルタイムに近いかそれ以上の早さで合成できるんじゃないかな
http://www.me.cs.scitec.kobe-u.ac.jp/~takigu/pdf/2020/0104_1-2-3.pdf