Minha opinião: É tudo uma questão de equilibrio e no que encaixa melhor. Acho que altura ajuda, se o zagueiro não tiver altura, ele pode ter outras qualidades que pode combinar com seu companheiro de zaga (como velocidade, impulso).

Veja as principais zagas do mundo
Real madrid: Sergio ramos 1,84 + Varane 1,91
Barcelona: Umtiti 1,82 + Pique 1,94
Gremio: Kaneman 1,83 + Geromel 1,90
City: Otamende 1,83 + Kompany 1,93

Corinthians: Pablo(1,88) e Balbuena(1,88) (não tomavamos gol de bola aerea de jeito nenhum, os caras além de altura, tinnham um impulso master.)
Gil (1,92) e Felipe (1,90) (muito bons na bola aérea também).

Cruzeiro: Leo(1,84) e Dedé(1,92)

Se você pensar bem, acho que zagueiro bom e baixinho, é mais exceção, por isso que quase todo mundo tem essa visão. E a maioria dos zagueiros são altos, isso não quer dizer logicamente que quem for baixinho vai ser um zagueiro ruim, como você citou, tem muitos exemplos de zagueiros bons e baixos.

Acho que uma boa zaga depende de uma boa dupla que se complementa.