誤解されたくないなら「見覚えがない」じゃなくて「戦った覚えがない」を使えばいいのではないのですかね？