とりあえずX265でのカラーマトリックスなど色設定を全部「自動」にしてみたら
ついで追加オプションで--ditherもおまじない的に付けたらいいと思う