MMVCServerSIOは少し前のバージョンを使い、half-precisionを選択する
CUDAで実行できる環境にして、モデル読み込み後にCUDAに切り替える。
オーディオデバイスを他と共用しない
ループバックはハードウェアで行えるものを使う(VoiceMeeterなどと相性がよくないのか遅延しやすい)
喋りながらresがどれぐらいまで上がるかを確認し、bufがそれ以上になるようにバッファサイズを決める。

上記のことをやった結果、遅延0.1秒～0.2秒ぐらいにはできてるし途切れてもいない。
普通にマーダーミステリーなど会話するゲームをプレイできてる。