Assim como você já deve ter visto, a maioria dos servidores mais utilizados do mercado não vem com Interface Gráfica, sendo necessário utilizar apenas linhas de comando para conseguir realizar qualquer tarefa.
O Ubuntu Server não é diferente, é um sistema bem simples para ser utilizado, entretanto, quem não sabe comandos, não poderá fazer simplesmente nada no sistema. Na verdade, se você não sabe trabalhar com linux, é melhor aprender ou se arriscar em versões de Desktop do sistema, mas se você já está careca de saber como trabalhar com o sistema e quer deixar tudo um pouquinho mais simples, vale a instalação da interface gráfica.