速度の問題じゃないよ
CPUキャッシュが3MBだからだよ

PCSX2はCPUキャッシュ上でメモリのエミュレーションをするから最低4MBないと遅くなる
足りないとメインメモリに一部のデータを移動させるからメインメモリ⇔CPUキャッシュ間のデータ移動で遅くなる

でもOSの処理でもキャッシュメモリを使うから理想は5MB以上のにするのがええよ