Problème de voisinage ! Maman de 27 ans au bord de la dépression

Bonjour,
Jeunes parents mon fiancé et moi sommes d'origine maghrébine .Nous avons décidés d'emménager il y a peu dans un immeuble "haut-standing" pour le confort de notre petit bout !Le jour du déménagement nous avons croisé des voisins qui n'ont même pas daigné répondre à nos bonjours .Nous n'y avons pas prêté attention mais il y a quelques jours mon voisin du dessous a toqué à ma porte à 22h en prétextant que je fais du bruit tout les soirs à la même heure depuis que je suis là "en déplaçant des meubles", alors qu'à ce moment là je m'occupais de mon bébé !Depuis c'est surveillance je ne peux même plus me mettre sur mon balcon pour parler au téléphone sinon ce sont des regards de travers !J'ai oublié de préciser que je n'ai jamais supporté les disputes (dépressif) je n'ai jamais eu de conflit et je n'en veux pas que puis je faire pour le stopper sans demmenager?