VRAM としての領域をメインメモリから引っ張ってくる限りはメモリ速度依存になるっしょ。
HBM2 でも内蔵してくれれば依存度はグッと下がるだろうけどまだなさげ。