La colline du château, connu sous le nom "Várhegy" en hongrois, fut habitée à partir du , après une attaque mongole qui a conduit les citoyens de Buda à chercher un quartier plus facile à défendre. La cour royale hongroise a également décidé de s'installer à l'extrémité sud de la colline. Vers le , il y avait environ habitants à Buda. Après une période (1541-1686) de domination turque et un siège de 75 jours a laissé Buda en ruines, les autrichiens n'y ont plus compté que 300 personnes en prenant possession des lieux. Ce ne sera pas la dernière attaque de la colline du château. En 1849 et en 1945, le quartier était de nouveau attaqué. Les forces allemandes complètement encerclées tinrent pendant presque un mois en janvier 1945, ce qui fut le trente et unième siège de la ville. Depuis 1987, le quartier fait partie de la liste du patrimoine mondial de l'Unesco. Les trois parties principales du quartier du château ("Várnegyed") sont: le Château-Palais de Buda, la zone au tour de la place Saint George ("Szent György tér") et le quartier résidentiel historique.