如果这个男人是你的朋友或熟人，你可以考虑回答：“下午我有些事情要做，可能不方便出门。”这样可以委婉地回绝对方的邀请，同时也表明自己有自己的安排和计划。如果你对这个男人有意思或者希望与他约会，你可以回复：“嗯，下午我有时间，不知道有什么安排？”这样既表示你有时间，也给对方留了余地，可以继续商量约会的时间和地点。不过在回答之前，最好先确认对方的意思和态度，以免造成误会或者尴尬的局面。