たぶん，誰か考えたと思うんですけれども，
例えば，元画像を4倍に拡大したいとして，

A.そのまま4倍に拡大する
B.半分に縮小した後，8倍に拡大する

を組み合わせた学習モデルって作れないですか？

解像度が低い画像を拡大しようとした時に，
Bだと近くのものは綺麗に拡大されるのですが，遠くのものが潰れてしまいます．
一方で，Aは全体的に綺麗なのですが，Bほど近くのものは綺麗にならない．

複雑で潰れそうな部分はAで，大雑把な部分はBのモデルを適用できれば，
画質がかなり改善されそうな気がするのですがいかがですか？