>>881の -b_ref_mode each の件、たぶん原因判明。ffmpegのバグ。
詳細はrigaya氏のブログのNVEnc 5.11の記事のコメント欄を参照。

NV_ENC_CAPS_SUPPORT_BFRAME_REF_MODE は each と middle の両方が
サポートされている場合、1(each) と 2(middle) の論理和をとって 3 を返す模様。

>>885にあるように、今のffmpegの処理は「eachをサポートしてるなら1を返すはずや！」という
チェックになっているので、それを修正する必要がある。

・・・報告ってどうやるんだっけな・・・。