5000ファイルで100msは遅いとかいう話が出てたので参考にどうぞ

自作ファイラーの自作リストでFindFirst（アイコン情報は取得してない）
・5000ファイル
ソートなし 16ms
ファイル名でクイックソート（自然順） 62ms
ファイル名でマージソート（自然順） 46ms
・2万ファイル
ソートなし 63ms
ファイル名でクイックソート（自然順） 156ms
ファイル名でマージソート（自然順） 109ms
・100万ファイル
ソートなし 2325ms
ファイル名でクイックソート（自然順） 9064ms
ファイル名でマージソート（自然順） 5601ms

ソートしたあと画面表示する時間がかかるので（アイコンを描画してるんだろうし）
5000ファイルで100msは、まあまあなのでは？