ノイズっていうか輪郭周りの不自然さ問題は、今の手法のままで対策するとなると、音声の処理でよく用いるオーバーサンプリング処理的な
考え方で攻めたほうが解決しやすいのではないかとも思う。
つまり、現状は縦横2倍（画像情報量で言うと4倍）に拡大をストレートに行っているけど、どうしても丸目誤差の問題が出るし目につきやすい。
（TTLモードで、画像を回転させる手法で幾分の軽減はされるが、根本的な解決手法ではない）

ならば、サンプル画像の確保が大変にはなるが、8倍オーバーサンプリングとでもいうか、内部処理的に縦横8倍（画像情報量で64倍）にすることを
前提に設計し、拡大後に縦横2倍（画像情報量で4倍）までダウンスケール、つまり縮小すれば、丸目誤差に伴うノイズというか荒らは気にならなく
なるのではないかと思う。
情報量が従来の計算に比べ16倍にはなるけれど、TTLモードを使うことを考えたら結局時間的には大差ないのではないかと思わなくはない。

ただし、縦横8倍の差をディープラーニングするためのサンプル画像がかなり大きなサイズの画像が必要になることがネックだろうと思われる。
このあたり、作者氏の手間の問題になってくるから、ユーザーがどうこう言いにくいところではあるのだが。