Elle fut conquise au par les troupes musulmanes de Othmân ibn Affân. Yazdgard III fut assassiné dans cette ville en 651 par le satrape qui siégeait à Mary (Merv de l'époque). Au Moyen Âge, elle devint une importante cité marchande en raison de sa position géographique privilégiée sur la Route de la soie. Au , l'Empire russe soumit à la vassalité le Khanat de Boukhara, qui contenait Mary dans ses territoires. Après les Révolutions russes, la ville fut intégrée à la République socialiste soviétique du Turkménistan. Après 1991 et l'indépendance du Turkménistan, elle perdit de son importance et fut intégré dans ce pays.