Osatu esaldi hau: Middleham gaztelua antzinako motte eta bailey gaztelu baten ondoan eraiki zen, William's Hill izenekoaren ondoan, oraindik ere gertu ikus daitekeena, nahiz eta ez dagoen harrizko lanaren edo defentsako egituraren frogarik gazteluaren lehengo lekuan. Historialariek uste dute jatorrizko gazteluaren defentsa-hormak egurrez egindakoak zirela. 1270ean Middlehameko gaztelu berria Neville familiaren eskuetara iritsi zen, eta honen kide nabarmenena Richard Neville, Warwickeko 16. kondea izan zen, historian "Kingmaker" bezala ezaguna, Arrosa Gerren figura nagusia. 1460ko abenduan, Richard Yorkeko dukea Wakefield-en hil ondoren, bere seme gazteena, Richard Gloucesterko dukea, Warwick-en zaintzan sartu zen, eta Middleham-en bizi izan zen Warwick-en familiarekin. Bere anaia, Eduardo IV.a, Middleham-en denbora labur batez preso egon zen, 1469an Warwick-ek harrapatu baitzuen. Warwick hil ondoren,
Barnet 1471an eta Edorta tronura itzuli zenean, bere anaia Richard Anne Neville-rekin ezkondu zen, Warwick-en alaba gazteena, eta Middleham bere etxe nagusia bihurtu zuen. Euren seme Edorta (Edorta Middlehamekoa bezala ezaguna), gazteluan jaio zen 1476 inguruan eta geroago ere bertan hil zen 1484an.