La ville semble avoir été fondée entre 2000-1500 avant JC. Elle est mentionnée dans le texte hindouiste sacré Rigveda (environ 1700-1100 avant JC) comme une vision de paradis située dans les montagnes. Elle était un important centre du zoroastrisme et plus tard du bouddhisme. La ville est restée de peu d'importance pour une grande partie des trois premiers millénaires de son existence. Elle a été contrôlé diversement par : les Perses, Alexandre le Grand, l'empire séleucide, l'empire Maurya, les Bactriens, les différents royaumes hellénistiques, l'Empire sassanide, et par le après JC était son propre royaume connu sous le nom de Kaboul-Chahan. Ce dernier royaume avant la conquête islamique a construit un grand mur pour protéger la ville contre l'invasion quand les Arabes sont arrivés au bord du royaume ; des parties du mur ont survécu jusqu'à ce jour et sont visibles au dessus du sol dans la ville.