とりあえず分かったことは
音声無しの動画のみだと問題なし
音声有りだと2フレーム増える

で、音声＆2フレームでふと思い出して
x264GUIExの音声項目のディレイカットをedtsにしてみた

結果重複フレームが消えた

お騒がせしましたorz