Viết phần tiếp theo cho đoạn này - Khi bắt đầu Chiến tranh Nga-Nhật (1904-1905), Zarubaev được bổ nhiệm làm chỉ huy Quân đoàn quân Siberia thứ tư, bao gồm Lữ đoàn dự bị Siberia thứ hai và thứ ba. Ông đã đẩy lùi thành công các cuộc tấn công của tướng Nhật Bản Yasukata Oku trong Trận Tashihchiao, nhưng đã được tướng Aleksey Kuropatkin ra lệnh rút lui thay vì tiếp tục thành công của mình. Tương tự như vậy, tại Trận Liaoyang, ông đã thành công trong việc giữ vị trí của mình chống lại các cuộc tấn công lặp đi lặp lại của Nhật Bản, nhưng một lần nữa đã bị từ chối tăng cường bởi Kuropatkin và được lệnh rút lui. Tại trận Shaho
, lực lượng của ông chủ yếu được giữ trong dự bị, và được sử dụng để củng cố đường dây che chở sự rút lui của Kuropatkin. Trong trận Mukden, lực lượng của Zarubaev giữ vị trí của họ trong mười ngày từ ngày 12-22 tháng 2. Từ ngày 23 tháng 2, Zarubaev chỉ huy một lực lượng kết hợp của cả Quân đoàn quân Siberian thứ tư và Quân đoàn quân Siberian thứ nhất. Tuy nhiên, lực lượng kết hợp này đã bị hủy bỏ vào ngày 25 tháng 2, và sau khi Kuropatkin được thay thế bởi Tướng Nikolai Linevich, Zarubaev được bổ nhiệm làm chỉ huy tạm thời của Quân đội Mãn Châu đầu tiên của Nga.