Un conflit relationnel me dérange

Bonjour,
j'ai un problème que j'ai pas pu l'évoquer avec des proches ou des amis,
le problème c'est que y'a quelqu'un que je connais depuis mon travail, c'était notre formateur, disons Monsieur X, ce Mr.X est assez sympathique que tout simplement tu te sens à l'aise avec lui; la relation devient de plus en plus amicale.
Après des mois, j'ai eu la chance de participer à un projet (travail) avec ce Mr.X ,
le problème que je sens comme si il a une certaine affection pour moi, pas mal de fois, il essaye de me tenir la main, la caresser, et même une fois il a essayer de me caresser l'oreille!! le problème, que j'ai pas pu faire une réaction assez violente à ce comportement, et je sais pas comment je dois réagir!!
Le projet m'intéresse beaucoup et je veux vraiment y travailler, ainsi que l'amitié avec Mr.X je veux pas la déstabiliser, c'est un homme marié, et j'ai un grand respect pour ce Mr., je veux que la relation reste dans le cadre du professionnel et d'amitié.
Pouvez vous me conseiller comment est ce que je peux passer cette information, sans vraiment embarrasser Mr.X, car jusqu'à maintenant, et à part ces moments bizarres, il ne m'a rien fait de mal, au contraire, c'est quelqu'un qui m'encourage au niveau compétence et carrière, il mes donne toujours des conseils, parfois je le sens comme un grand frère, mais parfois je sais pas qu'est ce qu'il lui arrive.
Tout les conseils sont les bienvenue, vraiment je me sens dans une situation assez embarrassante.