ESXが悪いのかと思ってKVMでも試してみました。
x1に差したカードをパススルーしたVMを起動した瞬間、
SATAのHDDがI/Oエラーを出し始めてホストごとフリーズしました。
KVMでも、GPUはパススルーできました。
（ただし、GPUを二枚差さないと当方の環境では上手くパススルーできませんでした。）