和男友好了快两年了，暂时异地，本来说好了以前的基友啊前任啊什么的都不再有瓜葛。可是这次他回家去还是遇到了一个基友，加了微信。我知道之后不开心，他说“你就信任我，放我去交朋友，不会出问题”。我倒也信他不会和人家有火花或者有肉体接触。就这样答应了不再管他交普通朋友。
以上是背景。
今天他在图书馆，跟我说有人搭讪他，
“又矮又丑，完全没兴趣”。
我“那你要怎么回应他？”
他“跟他说清楚，我有女友”。
过了会儿，给我打电话来说：
“他叫我一起吃饭”
“你怎么说？”
他说：“我说等一下”
“有可能跟他一起吃饭咯？”
“不知道。”
我说：“你就不能直接拒绝他吗？”
“人家又没有恶意，说不定只是想找个一起看书的朋友。”
然后我家就闹得不开心了。我觉得既然是陌生人，没必要给他那么多面子，直接拒绝就好。他就觉得不想搞得那么尴尬，总是要留余地。
这种事闹过几次了，总是没结果。
你们怎么看。