ふと思い立ってradeon settingでRX550のGPUクロックを最低(214MHz)に統一してみたら、
正常にアマレコ+MonsterX3Aが小一時間動きました
RX580のほうはどうでもいいらしく、RX580のメインモニタでゲームしつつ、
RX550のサブモニタにアマレコ+MonsterX3Aの映像を映しても特に異常ありませんでした
MonsterX3Aが繊細すぎるんですかね・・・

どうもお騒がせしました
adorenaline 2020 19.12.3で、パフォーマンスタブの中のチューニングからやりました
あと、214MHz固定でもfluid motionは正常に機能するようです

1880円のUSBグラフィックアダプタ注文しちゃったけど何かに使えるだろうし取っておこう