USBメモリにesxiをインストールしようと思ってるんだけど、仮想マシンのレスポンスが遅くなりまくることを懸念してます。

esxi起動後はUSBへの読み書きがほぼ無いなら影響ないと思いますが、実際のところどうですか？