Borodin syntyi Mikhail Markovich Gruzenbergin (Mikhail Markovich Gruzenberg) juutalaiseen perheeseen Yanovichi, Venäjän valtakunta, nyt osa Vitebskin alueen, Valko-Venäjä, 9. heinäkuuta 1884. Hän aloitti jo hyvin nuorena työnsä veneen kuljettajana Länsi-Dvinalla, kun hän matkusti joen osuudella Vitebskin, Dvinskin ja Riian, nykyisen Latvian pääkaupungin, välillä. Myöhemmin hän muutti Riikaan, jossa hän kävi venäjänkielisiä iltaopistoja työskennellessään kaupungin satamassa. Hän liittyi General Jewish Labour Bundiin kuusitoistavuotiaana ja vaihtoi uskollisuutta Vladimir Leninin bolshevikkeille vuonna 1903. Hänestä tuli Leninin läheinen kumppani, ja hän käytti yiddish-, saksa- ja latviaan kielen tuntemustaan työssään bolshevikkien agenttina valtakunnan luoteisalueella. Vuoden 1904 puolivälissä hänet määrättiin matkustamaan Sveitsiin tapaamaan maanpaossa olleita Leniniä. Tasaarillisten joukkojen 9. tammikuuta 1905 Pietarissa suorittaman "verisen sunnuntain" joukkomurhan jälkeen Borodin palasi Venäjälle, järjesti vallankumouksellista toimintaa Riiassa ja valittiin myöhemmin osallistumaan bolshevikkien konferenssiin.
Tampereella, jossa hän tapasi Josif Stalinin.