MP3の方がデコードが軽い実装がほとんど
http://www.rockbox.org/wiki/CodecPerformanceComparison

つーかデコーダ書いたことがあるなら分かると思うが
フィルタバンクはDSP的なハードで簡単に高速化できるけど
単純にテーブル参照を繰り返すしか無いハフマン符号のデコードが結構重いのよ