自己解決しました。
GTX1080とRadeon6450どちらもパススルーできました。
先レスのqiitaのURL先を更新しました。
※ESXiのパススルーマップの編集と仮想マシンの構成パラメータを編集しました。