樓主有小孩嗎？
雖然不管有沒有，我也建議樓主離吧，
但如果有，總是要多考慮一下離了之後，小孩的照顧、心理建設跟成長環境的處理。