Completa la seguente frase: Kaulbars è nato a Mödders nel Governatorato dell'Estonia da Barone Hermann Wilhelm von Kaulbars e Alexandrine Emilie e aveva un fratello maggiore, Nikolai Reinhold Friedrich. Alessandro e Nicolai erano cresciuti a San Pietroburgo e erano di fede luterana. Proveniva da un nobile tedesco baltico di origine pomeraniana. La famiglia era di nobiltà svedese. Sia suo padre che suo fratello raggiunsero il grado di generale nell'esercito imperiale russo. Ha studiato alla scuola di cavalleria Nikolaev. La sua prima esperienza in combattimento fu nel 1861, mentre serviva con il Reggimento di Guardie Egersky nella soppressione della
Rivolta polacca.