Couple, il voit une "simple" copine, que dois-je penser?

Bonjour. Je suis avec mon compagnon depuis plus de 20 ans & nous avons eu 3 enfants et à vrai dire notre couple se porte plutôt bien. Cependant, mon compagnon voit régulièrement une copine depuis environ 2 ans, ils partent se balader ensemble je dirais 1x par mois en semaine (il a un horaire de travail décalé, contrairement à moi qui ai un horaire "standard" lundi-vendredi.

Or, je ne peux m'empêcher de trouver cette relation malsaine, surtout qu'au début il me cachait ces escapades, ce n'est qu'en le questionnant entre 4 yeux sur qui était cette personne, d'où elle sortait, qu'il m' a avoué, tout en me disant qu'il n'y a rien entre eux et me demandant de lui faire confiance. J'ai fait confiance, tout en demandant à mon compagnon d'être plus transparent, de la voir moins souvent et de ne pas m'exclure, je l'ai aussi rencontrée, mais finalement, je constate que rien n'a changé.

Et chaque fois qu'ils se voient - quand du moins je suis au courant - je ne peux m'empêcher de stresser, d'angoisser, de me demander pourquoi ils continuent à ne se voir qu'à deux plutôt qu'organiser des balades à 3 le dimanche par ex, pourquoi cette "amitié" si exclusive et si je suis trop jalouse (il me semble que je suis bien tolérante?) ou bien trop imbécile et naïve?? Là, j'aimerais bien savoir ce que vous en pensez et si vous avez des conseils à donner? 

Un tout grand merci d'avance