男友说受不了你可以离开，我又不想离开他，去或留？

这么看，你男友好像对你有误解和怨气？也可能还有冷漠？
如果你男友当前的态度基于对你有误解，那么如果误解消除后是什么样，不消除又是什么样不清楚。
如果你男友当前的态度基于对你有埋怨，那么消除怨气或者不能消除怨气是什么样不清楚。
不管是什么样，看这个样子妨碍你们关系发展的至少应该有误解和怨气吧，我觉得先从消除误解开始吧。