Vivre dans une famille recomposée

Bonjour. J'ai 29 ans et une petite fille de 3 ans qui n'a jamais connu son père. Celui-ci a refait sa vie. J'ai rencontré un homme de 23 ans et nous avons aménagé ensemble au mois d'août. Ma fille est assez perturbée. Elle fait des cauchemars, répond, devient capricieuse... Et elle commence à appeler mon ami \"papa\" ou \"papa de coeur\". Mais parfois, elle lui dit : \"T'es pas mon papa\". On a toujours vécu toutes les deux et c'est vrai que pour moi aussi c'est compliqué. J'ai l'impression de passer moins de temps avec ma fille et parallèlement, je voudrais en passer plus avec mon ami. Je suis perdue. Je ne lui fais pas confiance, j'ai peur qu'il parte lui aussi, peur qu'il en ai marre de cette vie de famille qu'il n'a pas forcément voulu et puis il est jeune. En ce moment, j'ai l'impression que je fais tout pour qu'il parte. Est-ce que vous pouvez me donner des conseils ? Merci pour votre aide.