本人从中介购置一套二手房，约定总价50万，定金4万，余款15天内付清。当场签订了房屋定金合同，约定：如果我方违约，定金不退，卖方违约双倍赔偿支付的定金。我方是本人签字，对方是代理人在合同上签字（卖方签的房主名字，代理人在代理人处签字），并打了4万元收条，代理人和房主是表兄弟，通过微信和房主联系，没有出示房主的委托书。
但是合同对于代理相关约定如下：1.本协议签署人均保证具有签署本协议并支付或收取定金的权利，若因无权代理或无处分权或者资质不良，导致本协议无法履行或无法生效，该方签署人应按定金责任或违约责任的标准承担赔偿责任；2.甲乙双方任何一方委托的代理人以委托人名义签订本合同，代理人承担本合同约定的相关责任。
定金合同签订后，卖方反悔，不同意出售房屋，我想咨询的是，如果对方有委托书，很简单由房主承担赔偿责任。如果对方辩称自己没有委托书，也就是无权代理，那么这个合同就是无效合同，请问可以要求代理人双倍赔偿定金吗？