まず疑うべくはメモリ不足なので、
キャッシュフレーム数を落とすのと、タイムラインの上の方でぐいーーーっと指定しての分割エンコ。

分割エンコでうまくいったら、結合ソフトで結合させられる・・・・かもしれない。