James, nyt kruunaamaton Skotlannin kuningas, aloitti 18-vuotisen panttivankijaksonsa samalla kun Albany siirtyi luutnantin asemasta kuvernööriksi. Albany otti Jaakobin maat omaksi hallintonsa, riistämällä kuninkaalta tulot ja hänen asemansa kunnianosoitukset, ja häntä viitattiin asiakirjoissa "myöhäisen kuninkaan poikana". Kuninkaalla oli pieni skottiperhe, johon kuului Henry Sinclair, Orkney'n kreivi, Alexander Seaton, Sir David Flemingin veljenpoika ja Orkney'n veli John Sinclair, kun kreivi palasi Skotlantiin. Ajan myötä Jaakobin huonekunta - jota nyt maksoivat englantilaiset - muuttui korkean aseman henkilöistä vähemmän merkittäviin miehiin. Henrik IV kohteli nuorta Jaakobia hyvin ja tarjosi hänelle hyvän koulutuksen. Jaakobilla oli ihanteellinen asema tarkkailla Henrikin kuninkaallista ja poliittista hallintaa koskevia menetelmiä, koska hänet oli luultavasti hyväksytty kuninkaalliseen huonekuntaan aikuisena. Jaakob käytti aatelistensa henkilökohtaisia vierailuja sekä kirjeitä yksilöille säilyttääkseen näkyvyytensä valtakunnassaan. Henrik kuoli vuonna 1413, ja hänen poikansa Henrik V lopetti välittömästi Jaakobin suhteellisen vapauden pitäen hänet alun perin Lontoon tornissa muiden skotlantilaisten vankien kanssa. Yksi näistä vankeista oli Jamesin serkku, Murdoch Stewart, Albany'n poika, joka oli vangittu vuonna 1402 Homildon Hillin taistelussa.
- Mitä? Aluksi heitä pidettiin erillään, mutta vuodesta 1413 vuoteen Murdochin vapautumiseen 1415 asti he olivat yhdessä Towerissa ja Windsorin linnassa.