Viết tiếp cho đoạn này - Kaulbars sinh ra ở Mödders trong Governorate của Estonia cho Baron Hermann Wilhelm von Kaulbars và Alexandrine Emilie và có một người anh trai, Nikolai Reinhold Friedrich. Alexander và Nikolai lớn lên ở Saint Petersburg và theo đức tin Lutheran. Ông đến từ một quý tộc Đức Baltic có nguồn gốc Pomeranian. Gia đình là quý tộc Thụy Điển. Cả cha và anh trai ông đều lên cấp tướng trong Quân đội Đế quốc Nga. Ông được giáo dục tại Trường Kỵ binh Nikolaev. Kinh nghiệm chiến đấu đầu tiên của ông là vào năm 1861, khi phục vụ với Trung đoàn Vệ binh Egersky trong việc đàn áp cuộc nổi dậy Ba Lan.
.