Mon ami a peur que les enfants brisent notre couple

Bonjour,

J'ai eu pendant quelques temps une relation adultère avec un collègue de travail de 10 ans mon aîné. On s'aimait très fort. Mon couple était déjà à la dérive, lui était très malheureux avec une femme froide. On a fini par rompre parce qu'il ne voulait pas faire de mal à sa femme, qu'elle ne le méritait pas, que c'était trop compliqué. Je me suis séparée de mon conjoint, j'ai 3 enfants de 10-13 et 14 ans, mais nous habitions toujours dans la même maison. Puis au bout de 2 ans, j'ai eu une relation avec un homme célibataire mais qui ne voulait pas s'engager, moi non plus d'ailleurs, appelons ça une "relation plaisir". j'ai fini par prendre une location avec mes enfants.
Un jour, mon collègue est revenu vers moi, me disant qu'il ne pouvait plus vivre sans moi, que c'était trop dur... mes sentiments pour lui étaient enfouis mais toujours là. Je lui ai dis que je voyais quelqu'un, que ce n'était pas sérieux... mais là il est devenu fou, ne dormait plus, il voulait démissionner, a vu son médecin car il allait mal. Nous avons parlé. Il m'a dit vouloir quitter sa femme, être avec moi... Depuis cela fait 6 mois qu'il a pris son appartement. Nous nous voyons au travail (on se croise, on ne travaille pas dans le même service, tout le monde est au courant mais on ne s'affiche pas), il est en procédure de divorce... Le problème est qu'il supporte mal la solitude. je vais le voir quand je peux (on habite à 10 minutes), une soirée dans la semaine, on se voit aussi un week-end sur 2, il vient aux repas de famille mais il ne veut pas venir plus chez moi, il me veut seule pour lui, il a peur que les enfants ne finissent par faire rompre notre couple. Pourtant seule ma grande est un peu réticente, les 2 autres l'acceptent plutôt bien. Mais il a 2 grandes filles indépendantes et ne se voit pas rentrer le soir dans une maison avec l'agitation des enfants, le bruit...
et pourtant le soir, quand il rentre chez lui, il se sent très seul et en souffre, il a beaucoup de mal, même s'il a des amis, de la famille... il me dit que même si avec sa femme ils n'avaient plus rien à se dire, avoir une présence en rentrant le soir était important et c'est cela qui lui manque. il me dit qu'il comprend et qu'il ne me demande rien mais c'est dur pour lui et pour moi... On est fous l'un de l'autre mais la situation est vraiment difficile.
Est-ce que quelqu'un vit la même situation ? Comment cela se passe ?
Merci pour vos témoignages