その時Masterは電源OFFとかって意味なら、どうあがいても無理
他のPCの状態に関わらず一組のデバイスを使いたいならハードウェアKVM買いなされ