Au secours, je ne sais plus quoi faire !!!

Bonjour, je suis en couple avec mon ami depuis deux ans.
Notre histoire a commencé il était avec la mère de son enfant, et il a mis un an à la quitter. Entre eux, ça n'allait plus même avant que j'arrive dans cette histoire. Aujourd'hui, elle est partie, elle a un chez elle, et lui vit chez lui. La maison où ils habitaient ensemle était à tous les deux (enfin aux deux noms, mais elle n'a jamais payée un centime). Comme il n'arrivait pas à vendre sa maison, il lui a racheté sa part, et il est enfin chez lui depuis plus d'un mois !!!!! de plus, elle avait un grand besoin d'argent, elle ne lui a pas laissé le choix.
Bref, aujourd'hui il vit chez lui et moi chez moi. il ne m'a proposé une seule fois, de venir vivre chez lui. La semaine quand il est avec sa fille, je ne le vois pas, car je n'y suis pas conviée. Donc, je suis sympa, je les laisse tranquilles. La semaine où il est avec moi, c'est super, il m'aime, il s'occupe de moi, mais ne fais aucun projet pour l'avenir. Moi, j'ai bientôt 30ans, j'en ai marre de vivre seule une semaine sur deux, j'ai envie construire ma vie avec lui, avoir un enfant, enfin vivre en couple !!
De plus, avec l'enfant, c'est difficie. Le père accepte tous les caprices de l'enfant et de la mère, sans me consulter. Si j'ai le malheur de dire quelque chose, il s'énerve, et ne me parle plus tant que je m'excuse pas.
Je ne sais plus quoi faire, j'ai l'impression de perdre mon temps avec lui, mais le problème est que je l'aime. Je ne sais plus quoi faire. Je n'ose plus rien lui dire.
J'essaye souvent de lui tendre la perche pour qu'il me propose des choses, c'est-à-dire faire des sorties tous les trois quand il a sa fille, mais à chaque fois, les sorties finissent mal car c'est toujours la petite qui mène la danse et moi donc je m'énerve !! Je n'arrive pas aimer cet enfant. C'est dur de dire ça, mais pourtant si. elle me rappelle chaque instant sa mère.
autre problème, il ne sait pas dire à son ex concernant sa fille. Elle ne respecte pas les semaines de garde, quand elle, c'est sa semaine, elle lui fille sans lui demander si ça le dérange, et lui ne se demande pas si ça me pose un problème. Ma vie tourne autour de cet enfant et des désirs de l'ex...
Que faire ??? Merci de me donner vos avis, ou si vous êtes dans le même cas...