一般的なクラスのGPUだとBatch sizeはほぼ無理なんかな
単純なのは並列処理してもそこそこの出来になるけどプロンプト盛るとCUDA足りてない感満載
3060がどれだけやれてるかわからんけど3050とかいうクソボードは速度はそこそこだろうけどBatch countで回すしかないわ