-pix_fmt p010le 指定すれば良いんでない?

ff_nvenc_pix_fmts
初期値
……
AV_PIX_FMT_P010,
……,
AV_PIX_FMT_NONE

http://www.ffmpeg.org/doxygen/trunk/nvenc_8c.html#a7dc7ef0ced6600352858a0fb7d22342d