Críochnaigh an abairt seo a leanas: Rugadh Kaulbars i Mödders i Gobharnát na hEastóine do Baron Hermann Wilhelm von Kaulbars agus Alexandrine Emilie agus bhí deartháir níos sine aige, Nikolai Reinhold Friedrich. D'fhás Alexander agus Nikolai suas i Saint Petersburg agus bhí siad de chreideamh Luitéarach. Tháinig sé ó uasal Gearmánach na Bailte de bhunadh Pomeranian. Bhí an teaghlach de uasal na Sualainne. D'éirigh a athair agus a dheartháir go dtí rang ginearála san Arm Impiriúil na Rúise. Fuair sé oideachas ag Scoil Cavalry Nikolaev. Bhí a chéad taithí i gcath i 1861, agus é ag fónamh leis an Egersky Guards Regiment i gcúlú an
Éirí Amach na Polainne.