例えば他のメディアプレイヤーだとどうなの?
それで問題なく再生できるならPotplayerの設定見直し、同じくフレームレートが落ちるならハードウェアの問題