Em teoria, nada te impediria de disponibilizar o seu site na porta que você quisesse, e existem alguns sites que de fato fazem isso. Entretanto, isso não costuma dar muito certo porque há muitos firewalls por aí que bloqueiam conexões em portas que não estejam explicitamente liberadas, e considerando que as portas 80 e 443 são as portas HTTP e HTTPS padrão, usadas por 99% dos sites mundo a fora, elas costumam estar liberadas sempre, enquanto que ao usar as demais portas, você possivelmente terá problemas com usuários que relatariam não conseguirem acessar o seu site adequadamente.
Outra vantagem de usar as portas padrão, é a de que você não precisa colocar o número da porta nas suas URLs, o que tende a ser algo desejável para a maioria dos sites. Além disso, quando o usuário for digitar uma URL no navegador, ele provavelmente vai tentar digitar www.example.com ao invés de www.example.com:1234.
Por outro lado, ao não ser obrigado a usar a porta padrão sempre, é possível disponibilizar-se mais do que um serviço HTTP/HTTPS na mesma máquina. Vez que as portas em uso são reservadas aos serviços que as escutam e não é possível rodar dois serviços ao mesmo tempo na mesma máquina, no mesmo IP e na mesma porta, logo se você tiver um serviço rodando no protocolo HTTP na porta 80 e quiser disponibilizar um outro serviço diferente que também rode no protocolo HTTP na mesma máquina com o mesmo IP, então você terá que usar uma porta diferente. Mas ao usar uma porta não padrão, recairá nos problemas descritos acima. Por este motivo, algumas pessoas utilizam serviços de proxy/gateway, onde o proxy/gateway é um serviço HTTP/HTTPS que usa as portas padrão (80 e 443) e ele redireciona para os demais serviços locais que rodam em outras portas. Nesta abordagem, deve existir algum critério simples que permita ao proxy/gateway saber para qual serviço ele redirecionará (ex, clientes.example.com vai para a porta 1234 e o fornecedores.example.com vai para a 4321). Com isso, haverá um único serviço visível externamente rodando na porta padrão, enquanto que internamente haverá vários serviços rodando em portas alternativas.