Ist Größenunterschied ein Problem?

Ich hab einen Mann kennengelernt, der zwar nicht klein ist, aber doch 5 cm kleiner als ich. Wir verstehen uns super und ich denke, da könnte was werden draus. Er sagt aber, dass der Größenunterschied für ihn ein Problem ist. Mir wär das wurscht. Muss ich seine Haltung verstehen?