Il voit une autre et me néglige

Bonjour,

j'ai vraiment besoin de votre aide , je vis depuis peu avec un homme de 35 ans , j'en ai 26 . Je l'aime énormément , mais c'est quelqu'un de distant, il travaille énormément , rentre tard le soir, travaille tous les dimanches et jours fériés. Du coup je me retrouve toute seule. Quand je lui en parle il me dit que je ne dois pas l'empêcher de travailler etc. Nous n'avons pas de vis de couple , on ne fait quasiment jamais rien ensembles!
En plus de ne pas avoir son temps , il n'est pas affectueux , il ne me rassure sur rien , on n'arrive pas à discuter, il ne me touche que pour faire l'amour, ne me dis jamais je t'aime. Quand je lui en parle il me dit qu'il est ainsi et que ses ex lui ont reprochés la même chose.
Il gagne très ,très bien sa vie , mais il est très pingre, ne me gâte pas , se plaint tout le temps etc. Je vis chez lui, je ne gagne pas beaucoup d'argent, car je suis en formation à l'UIFM et je travaille à mi-temps.
Depuis quelque temps , je le soupçonne de voir une autre femme , une femme avec qui il travaille , je lui en ai parlé , il me dit que c'est professionnel ,mais les SMS en les appels fréquents en disent long. Je me suis renseigné sur cette femme , elle a 40 ans , deux filles et une très bonne situation financière. Je vais mal , je ne sais plus quoi faire . Je me demande si je dois appeler cette femme , mais j'ai peur d'être ridicule. Notre relation est récente(1 et demi) , tout à été très vite entre nous. Mon copain est divorcé et il a un enfant, et il se méfie un peu des femmes . Je pense que je mérite mieux , et je pense de plus en plus à le quitter . Merci de vos conseils . Séph.