フレンド解除した上で相手が入っているサーバーから抜ければ大丈夫なはず
同じサーバーに入っていてもオフライン表示にしてるならバグかもしれないが