セクハラはパワーハラスメントの一形態なので、上下関係かつ業務中や公務中といった状況でなければ
業務外での、ただの一般人同士でのお食事会なので、セクハラにはならないのです。

業務外（公務外）での発言を、無理やり法律を当てるなら、侮辱罪や名誉棄損、わいせつ罪ぐらいで、かなりハードルが高いです。

友達同士の会合でもめてもセクハラで訴えてやると言われても、友達同士では上下関係は成り立たないですし、
セクハラで訴えられてる案件が「職場内」に限定されて訴訟が起きてるのは、上下関係におけるパワハラの一つ（セクハラ）として捉えられてるからです。