Le père veut renoncer à ses droits parentaux

bonjour, alors, tout d'abord je met les choses dans leur contexte. 

Je suis séparé du père de mes enfants depuis un peu plus d'un an, il ne leurs a jamais rien donné et je n'ai jamais rien réclamé. Il les prends quand il peut un week-end sur deux ou un weekend par mois et quelques jours pendant les vacances. A savoir que je n'ai pas de contact avec lui c'est son frère qui fait le relais entre lui et moi 

Cependant la caf me demande d'entreprendre les démarches pour une demande de pension au cas échéant ils coupes mes allocations, (je travaille mais s'que je touche de la caf m'aide beaucoup) donc j'entreprends les démarches, cela fait 6 mois que la procédure est lancé et l'avocat me dit que ce serait bien de le prévenir comme ça il ne sera pas surpris donc je le préviens et là il m'annonce que si je vais au bout de cette procédure il ne l'acceptera pas parce qu'il ne veut pas me payé pour voir ses enfants et qu'il renoncerait a ses droits parentaux. 

Je suis perdu, je ne veux pas que mes enfants se retrouve sans leur père, dois je stopper les démarches ou le juge peut refusé de lui retiré ses droits ? 

Désolé pour le pavé et merci de vos réponses.