我离婚带一男孩。遇到了一个离过2次婚的男人。他2任前任有2个孩子。相处快两年了,也没有求婚,从未送过生日礼物,一直叫穷,很斤斤计较,一直觉得他不好烟酒,也是科研人员,生活圈子单纯,比较欣赏与喜欢,对于他抠门并不是好计较。可是,这半年他第二任前妻带着孩子来我们这个地方读书了,他为了能看到孩子,晚上在前妻那里常常很晚才回来,到了那里不敢接电话,生怕前妻不让看小孩,还在前妻那里吃饭,美其名曰给孩子培养感情,我生气,就说我不懂事,阻碍他爱孩子,我也很无奈,两个前任,两个孩子把他的时间金钱都耗得没有了。请教各位,目前我该怎么办?