ぶぶ漬けって『飯でも食うか?』って意味だからな
それが転じて『飯の時間まで居座る気か?』って使われることもあるってだけ
自分にやましいことが無いなら『じゃあ頂きます』って返せばいい