Fundáu polos árabes, foi llamáu Bebán —«puerta fortificada»— hasta la batalla de Simancas, nel 939. Nel sieglu XIII, cola repoblación denominóse «Naharros de Bebán», yá que foi repoblada por navarros («Naharros» como evolución de «Nafarros»). Dende entós formó parte de la Comunidá de Villa y Tierra d'Ávila. El castiellu al que se refier el so nome atopar nel llugar qu'agora ocupa la ilesia, y de él solo queden partes de los sos llenzos d'argamasa y cantares rodaos. Nel sieglu XVII pasó de la tenencia del rei a la del marqués de Mancera y de Malpica hasta'l sieglu XIX. Finalmente, el so nome derivó a Narros del Castillo.