Gloucester kuoli muutaman päivän kuluttua maanpetoksesta vuonna 1447. Talo luovutettiin kruunulle, ennen kuin sen asetti jonkin aikaa ennen vuotta 1457 Eduardin veljenpoika Richard Plantagenet, 3. Yorkin herttua, entinen Lord Protector, joka piti 400 herrasmiestä ja aseistautuneita linnassa pyrkiessään valtaistuimelle; hän kuoli Wakefieldin taistelussa vuonna 1460. Tämä Lontoon valta-asema antoi Yorkin pojan kruunata kuningas Edward IV:ksi linnan suuressa salissa, kun Henrike VI ja Marguerite Anjou olivat kampanjoimassa Pohjois-Englannissa. Edvard antoi linnan äidilleen Cecily Nevillelle 1. kesäkuuta 1461, muutama viikko ennen kruunajaistaan, ja hän asetti perheensä sinne turvaan ennen ratkaisevaa Barnetin taistelua.
- Mitä? Kun nuoret prinssit Edward V ja hänen veljensä Richard julistettiin laittomiksi vuonna 1483 ja vangittiin Lontoon torniin, Edwardin veli kruunattiin kuninkaaksi Richard III:ksi Baynardin linnassa, kuten Shakespearen näytelmässä "Richard III" kerrotaan.