「事実を摘示」とは、具体的な事実に言及していることをいいます。たとえば「不倫している」「お金を盗むのを見た」「前科がある」「麻薬をしているに違いない」といった発言が「事実を摘示」に該当します。なお、その事実が真実であっても嘘であっても、名誉毀損罪は成立することがあります。

https://yell-lpi.co.jp/column/defamation/art0017/

事実でも嘘の情報でも名誉毀損は成立するらしいので、
事実無根なら名誉毀損は成立しないと主張されたい方は反論どうぞ