根据广州地区的司法实践及搜索结果，离婚协议中约定房产归女方的情况下，男方能否要回房产需结合具体情况分析，以下是关键要点：

一、离婚协议的法律效力

1. 一般不可撤销
   离婚协议经双方签字并办理离婚登记后，具有法律约束力。若协议内容合法、双方自愿且无欺诈、胁迫等情形，男方通常无法单方反悔或要求撤销房产归属条款。

2. 例外情形
   若存在以下情况，男方可能通过诉讼主张变更或撤销协议：

• 欺诈或胁迫：如女方隐瞒房产真实权属或男方受胁迫签署协议；

• 重大误解：如对房产价值、归属条款存在重大误解；

• 违反法律强制性规定：如协议涉及非夫妻共同财产的处分。

二、出轨行为对房产归属的影响

1. 出轨与财产分割的关系

• 若离婚时已对房产进行公平分割，仅事后发现出轨，通常无法以此为由要求重新分割房产。

• 若出轨行为构成《民法典》规定的重大过错（如与他人同居、重婚），且在离婚时未主张损害赔偿，可在离婚后1年内起诉要求赔偿，但一般不影响已约定的房产归属。

2. 出轨证据的调查取证

• 证据类型：需形成完整证据链，如照片、录音、聊天记录、证人证言等。

• 法律程序：证据需经法院审查属实，单独证据（如单一照片）难以证明出轨事实。

三、实务操作建议

1. 协议履行

• 若房产未过户，建议尽快办理产权变更登记，避免因男方反悔引发纠纷。

2. 诉讼风险

• 男方若以“净身出户反悔”为由起诉，法院通常会认定离婚协议具有人身属性，不可随意撤销。

• 案例参考：广州某案例中，男方因出轨净身出户15年后起诉追回房产，法院以协议合法有效为由驳回请求。

3. 专业协助

• 建议委托律师协助调查出轨证据，或对离婚协议的效力进行法律评估，确保主张有事实和法律依据。

四、总结

在离婚协议明确约定房产归女方的情况下，男方通常无法直接要回房产。若涉及出轨，需结合证据充分性及协议是否存在可撤销情形综合判断。建议优先通过协商解决，协商不成可向法院起诉，但需注意诉讼时效及证据充分性。

如需进一步行动，建议咨询广州本地律师，结合具体证据和协议条款制定策略。