俺も動画再生で縮小した時にジャギーが目立って気になった事があって、
環境設定の映像レンダラーを「内部のDirect3D 11 映像レンダラー」にしたら滑らかになったよ
情報が少ないから正解かは分からんが