どの周波数のどの音が同じ楽器に属するかを判断するのが難しいんだろうね
人間の経験によるものだろうから、初心者が聴き取れなかったりするんだろうし
シンセの音なんかだと特に、人間でも判断つかない場合や、どうやって楽譜にするの？なんてのもあったり

AIの大量学習によって大まかなところまで解決できるかどうかって感じじゃないかな