Middlehamin linna rakennettiin lähelle aikaisemman motte ja bailey-linnan, nimeltään William's Hill, sijaintipaikkaa, jota voidaan edelleen nähdä lähistöllä, vaikka ei ole todisteita kalkkitehtuurista tai puolustusrakenteista entiseen linnanpaikkaan. Historioitsijat uskovat, että alkuperäisen linnan puolustusmuurit rakennettiin puusta. Vuonna 1270 uusi Middlehamin linna siirtyi Neville-perheen haltuun, jonka merkittävin jäsen oli Richard Neville, Warwickin 16. kreivi, joka tunnetaan historiassa nimellä "Kuninkaantekijä" ja joka oli johtava hahmo Ruusujen sodissa. Kun Yorkin herttua Richard kuoli Wakefieldissä joulukuussa 1460, hänen nuorempi poikansa Richard, Gloucesterin herttua, tuli Warwickin huostaan ja asui Middlehamissa Warwickin oman perheen kanssa. Hänen veljensä kuningas Edward IV oli vankilassa Middlehamissa lyhyeksi ajaksi, koska Warwick oli vanginnut hänet vuonna 1469. Warwickin kuoleman jälkeen Barnetissa
Vuonna 1471 hänen veljensä Richard meni naimisiin Warwickin nuoremman tyttären Anne Nevillen kanssa ja teki Middlehamista pääasemansa. Heidän poikansa Edward (tunnetaan nimellä Edward of Middleham) syntyi myös linnassa noin vuonna 1476 ja kuoli siellä myöhemmin vuonna 1484.