已婚女，爱上比我大7岁的已婚男，知道没未来但忘不掉

我是一个结了婚的女人，爱上一个比我大七岁的已婚男人，而这个这个男人有妻子还有一儿一女两个孩子，我们俩相处已有六年，他对我非常好，我们的感情也很好，自从认识他之后现在我整个人都变了，心里想的都是他，每次回他自己的家的时候，我心里就特别难受，还会胡思乱想，有时也会跟他发脾气，他都会像哄小孩一样的哄我，直到我开心为止，可在这六年中间他办了一件让我无法原谅的事情，就是他和他妻子又生一个小孩，小孩已经五岁了我才知道，他也跟我解释了很多，解释了他当时的难处，可我就是接受不了，我也想过离开他，千万种的不舍让我难以放弃，我心里很痛苦，我不知道该怎么办？我也不图他什么，就是喜欢这个人，我是特别特别爱他，我也知道跟他没有未来，可就是忘不掉他，请问老师，我该怎么办？