setpts フィルタを掛ける意味がよく分からないが
rgb の h.264 の動画で出力するならこうなる
"""D:\ffmpeg.exe"" -y -i ""D:\xxx.mkv"" -vf setpts=PTS*1,format=gbrp,""pad=iw+8:ih+8:4:4:000000"",setpts=PTS/1
-vcodec libx264rgb -preset ultrafast -crf 20 -acodec copy -pix_fmt bgr24 ""D:\xxx2.mkv"" "
ffmpeg -h encoder=libx264rgb