オプションあったわ
オプション - 検索データの以下のチェックを外したら360MBまで減った

　高速ソート - サイズ
　高速ソート - 更新日
　高速ソート - パス

ソート操作にややタイムラグが増えた感じはあるけど、実用上は問題ないな
他の項目（ファイルサイズとか）もチェックを外せばメモリ使用量を減らせるんだが、
検索結果に影響するから削れないな

あとはフォルダを対象外にしたりzipで固めたりして項目数を減らすか・・・