HDDをUSB接続するとドライバの優先順位がVbox側に持ってかれてるってことか？
ゲスト側でHDDが認識されてるなら
・ゲストOS上でHDDのUSB接続に対しタスクバーで [ハードウェアの安全な取り外し] を行う
・vboxのGUI上でvhdファイルの位置をUSBのHDD内に認識させているならvbox上で外してみる

これでもホスト側に主導権が戻ってこないのだろうか？