Mielke là một người gốc Berlin và là thành viên thế hệ thứ hai của Đảng Cộng sản Đức, Mielke là một trong hai kẻ kích động trong vụ giết người năm 1931 của các đại úy cảnh sát Berlin Paul Anlauf và Franz Lenck
. Sau khi biết rằng một nhân chứng đã sống sót, Mielke trốn thoát khỏi việc bị bắt giữ bằng cách chạy trốn sang Liên Xô, nơi NKVD đã tuyển dụng ông. Ông là một trong những nhân vật chủ chốt trong việc tiêu diệt những người Cộng sản Đức của Moscow trong cuộc Thanh tra vĩ đại cũng như trong cuộc bức hại tàn bạo những người bị nghi ngờ chống Stalin trong Lữ đoàn Quốc tế trong cuộc nội chiến Tây Ban Nha.