基本的な事過ぎて悩むような項目じゃないんだが…
MadVRに繋ぐなら何もいじる必要はない。適切なフォーマット(NV12/YV12)で繋いでくれる
その設定はMadVR以外のレンダラに繋ぐ場合で、そのレンダラのRGB変換に不満がある場合。そのときはLAVで出力をRGB"のみ"に設定して、お好みのディザリングを設定すればいい