とりあえず、元動画からサイズの変更はしないほうがいいかと、
元動画の画質がすべてだから、それがよくないと、ふつうの方法ではどうやってもよくならないかと

いまできる最善の方策は、512ｘ384の動画を2048〜4096kbpsでエンコードすることかと
ちなみに、30fps、4000kbpsで12分の動画は、ファイルサイズ、どのくらいになりました？