事情背景是，三十多年前我爷爷在我们村与另一家签订了一份土地租赁协议，租了6分地盖了两间房，房子后边有个大水坑，经过我爷爷填土建坝等，土地面积增加了一倍。后对方老人去世，合同改为与对方儿子签订，合同上土地面积仍为开始时的6分地，后来我爷爷年纪大了，又改为我爸爸与对方签订，合同上土地面积仍为开始时的六分地，租赁费每年由我爸爸支付。因为中间几次土地调查房屋登记等政策原因，现在那两间房登记在我的名下。
现在我爷爷去世，对方想将地卖给我们，要价十万，我们嫌贵不愿意要，对方要收回土地，要求保持现在状态收回。我们同意对方收回土地，但是我们要拆除土地上的建筑，并且只给对方合同上的6分地，是否合理呢