・持っていて厳しい人
・持っていて優しい人
・持っていなくて厳しい人
・持っていなくて優しい人

都合のよい表現を選んで自己弁護に使ってください