我在我家的荒地盖的房子已有三年了，今年加宽公路，我家的房子是好位置了，我房子前面是条河，我就埋上管着垫了土，我家房子南边有我一个对的人两排树的地方，我也垫上了，但是还是他的地方，我们也不要他的土钱，还有他南边的地方是公家的河，他就想在他地方南边我垫的地方放板房，我没有让他放，他就让他家里的一个浑身是病的人闹我们，说我盖的房子下面有他的地方，要我们把房子扒了，他想讹钱，我们没有和他骂，他来我家好几次了，还砸我家的门，打电话报警没见他的人，对付这种无赖该怎么办？请大家帮忙出出注意。