Sau khi Chiến dịch Barbarossa, cuộc xâm lược của Đức vào Liên Xô, bắt đầu vào ngày 22 tháng 6 năm 1941, Yermolkin đã chiến đấu trên Mặt trận Tây Nam với đơn vị của mình. Là một phần của Quân đội thứ 26, sư đoàn và quân đoàn của nó bắt đầu cuộc chiến ở khu vực Drogobych. Trong các trận chiến biên giới vào ngày 25 tháng 6 năm 1941 như một phần của quân đoàn, sư đoàn đã phát động một cuộc phản công
trong khu vực Brody và Dubno, và sau đó trong cuộc chiến khốc liệt rút về phía Proskurov và Vinnytsia. Sau đó, Thiếu tá Yermolkin bị thương bởi mảnh đạn trong cuộc chiến ở khu vực Radzivilov vào ngày 28 tháng 6. Vào tháng 8 trong Trận Kiev, ông được bổ nhiệm làm chỉ huy Trung đoàn súng cơ số 300 của Sư đoàn cơ giới thứ 7, dẫn đầu nó trong các cuộc chiến quyết liệt ở phía nam Kiev như một phần của Quân đội thứ 26. Yermolkin bị bắt trong cuộc bao vây vào tháng 9 nhưng đã xoay sở để trở lại các tuyến quân Liên Xô vào tháng 10, sau đó ông nhận được quyền chỉ huy Trung đoàn súng trường 680 của Sư đoàn súng trường 169, tham gia vào các cuộc chiến nặng nề như một phần của Quân đội 38 của Mặt trận Tây Nam ở vùng Volchansk. Từ tháng 12, ông chỉ huy Trung đoàn súng trường 584 của Sư đoàn súng trường 199 của quân đội. Vào tháng 7 năm 1942, Yermolkin trở thành phó chỉ huy của Sư đoàn súng trường số 304 của quân đội trong chiến dịch phòng thủ Donbass.