最初のデータ読み込みはストレージの速度と展開速度に縛られるから、
マシンのスペックを上げるしかないよ
xcfファイルの場合、圧縮しているなら非圧縮にすれば遅くはなくなる