違うアプローチ。色から。
背景は緑が多いってんで。

動画の下にフレームバッファを配置、
それにティム氏の「色抜き」を設定、
スポイドで緑を拾って量と範囲辺りを設定すると（参照した緑色によっても変わるのでトライ＆エラー）、
背景がそれなりにほんのり淡くなった。手前も若干巻き込まれるのは仕方ない。
この状態から更に調整ってのもあるかもしれんが、何分理想形がわからん。
ヒントになれば？？