色々と調べてみましたが3000台は学習初動でvram使用計算にバグあるっぽいですね
とりあえずgpuスケジューリングONにして学習開始さえしてしまえば、その後OFFにしても問題なく動いてくれてます
初動ではres256でbatch8以上で動かなかったのが、今のところbatch16で問題無く動いてくれてるし
タスクマネージャでもcudaコアガンガン使ってくれてます