もう悪くなりそうなパターンを調べてそういうパターンを自動生成して学習データに加えることで無理やり対応した
例: http://ccsaku.moe.hm/gyazo/data/0b76b99850d7cc5eac0e4857da451890.png
こういうパターンを良くするのと引き換えにイラストの平均的なスコアは少し下がると思うけど
最悪な場合のスコアはかなり上がっているはずなのでいいやろという感じ

イラスト90枚のセットで，縮小に平均画素法を使ったときの平均PSNRが
既存: 36.74, 新: 37.07
縮小にLanczosを使った時が
既存: 36.76, 新: 37.25
で平均も既存よりは良くなっている
処理速度も2.4倍くらい速い
対応方法はこれでいいと思うので，
あとちょっと調節するのとノイズ除去付きも試してみてよければ追加で
ウェブの方は新モデルで置き換えることはほぼ決まりです