foobar2000側のプラグインのアルバムアート設定(use embbeded albumart first)をonにしたらちゃんと正しいアルバムアート表示されるようになったわ。

最初は良かったんだけど、途中でアルバムアート変更したらスマホ側に反映されなくて、何度かキャッシュ削除したらおかしくなったんだよね。
正しくなかったってのは、同じアルバムでも曲によってアルバムアートを変えてたのとか全て同じアルバムアートで表示されてたり、ひどいのだとフォルダも別の曲のアルバムアートにすり変わってたりしてた。
それに解像度の低いボケボケだったしね。

いつのまにか設定変えちゃってたのかな。でもこれデフォルト設定はoffなんだよね。