前にマウスやキー押下をwin32APIで操作して平均値出してる人居たけど、あれを動画をn分割した位置で検出して平均値なり中央値入れるのは良さそうよね。
ちょっとパラメータいじった感じだと、扱うソースによってはシャープやデノイズなんかはそれにオフセット値補正かけられた方が良さそうかなとは思ったけど