AviUtlのシステムの設定で最大画像サイズをギリギリ、キャッシュフレーム数を2、LargeAddressAwareを有効にして、拡張編集の環境設定で動画ファイルのハンドル数と画像データのキャッシュ数をケチればなんとかなるかも。