Hänen nousunsa valtaan alkoi hänen vanhemman veljensä Archibald Douglasin, 4. Douglasin jarlin, tuhoisalla tappiolla Homildon Hillin taistelussa.
Syyskuussa 1402, kun englantilaiset vangitsivat hänet. James oli nyt vaikutusvaltaisen Douglas-perheen pääosaston päällikkö, ja hänen oli jätettävä ylläpitämään vaikutusvaltaansa Etelä-Skotlannissa. Hänen menestyksensä tässä suhteessa säilytti Douglasin vaikutusvaltaa hänen vanhemman veljensä paluuun vankeudesta vuonna 1409, jolloin hän otti neuvonantajan roolin ja palkittiin laajoilla kiinteistöillä. Tärkein näistä oli Abercornin linnan linnoitus, josta tuli hänen pääasuntonsa koko loppuelämänsä ajan.