小三赶出家门是否违法，以及男方能否维权，需分情况判断：

1. 房屋产权归属：若房屋产权属于男方及其配偶，且小三未经合法允许居住，男方采取合理、适度的措施让小三离开，不构成违法。但如果使用暴力、威胁等非法手段将小三赶出家门，对小三的人身造成伤害或侵犯其合法权益，就可能触犯法律，如故意伤害、非法拘禁等。

2. 小三与出轨方的关系：若小三与出轨方以夫妻名义共同生活（如对外宣称夫妻、共同居住超过6个月），可能构成重婚罪，此时原配（女方）可向法院提起刑事自诉，追究双方的刑事责任，小三上门闹事的行为会作为重婚的辅助证据，强化维权力度。

3. 债务问题：若出轨方向小三借款未还，小三以“要债”为由上门闹事，需区分债务性质。若借款用于出轨方个人消费（如给小三买礼物），则属于个人债务，原配无需承担；若小三以要债为名实施辱骂、打砸行为，仍可按侵权处理，但需额外收集债务无关家庭共同生活的证据。

4. 小三怀孕或育有子女：若小三怀孕或已生下出轨方的孩子，上门要求“名分”或抚养费，此时需先处理抚养权、抚养费问题，同时小三的闹事行为若涉及侮辱诽谤，仍需承担法律责任，但处理时需考虑孩子的存在对婚姻关系的影响，可能需要更谨慎的法律策略。

综上所述，男方能否维权取决于具体情况。建议通过合法、合理的途径解决，如寻求社区调解、报警或通过法律诉讼等方式。在处理过程中，保持冷静和理智，依法维护自己的合法权益。