经别人介绍认识男方，婚前男方家人都说他只是心里明白很多事，只是说话时一紧张说不出话，结婚后相处了才知道他经常胡言乱语，还在外说我说些让我名声受损的话，跟他沟通很难，他说话总是东扯西拉。所以我跟他提出离婚，他家让我退还彩礼钱，这合法吗？可以起诉他家骗人吗