ゴムロールを巻いた状態で上から下へ変更（最初につけてた奴）したら妥協出来る範囲になった！
https://i.imgur.com/fYhWWB4.png
https://i.imgur.com/UUwuCz6.png

https://youtu.be/qBxMAbFNNA0
前まではもっと酷かったｗ
これで手ぶれ補正付きカメラなら気持ち悪いくらい滑らかなんだろうとは思うがとりあえずこれでいいかなと
結論：板ゴムをスペーサーにするより、ゴムロール巻いて太くしたらいい感じになった