La ville a été créée en 1578 par Ivan le Terrible, sur un territoire peuplé à l'époque par les Mordves. Dès 1737, Arzamas compte et joue un rôle de centre de transit sur la route menant aux régions orientales de la Russie. C'est à cette époque un centre de production connu pour ses oies (une espèce d'oie porte le nom de la ville), ses oignons et ses produits en cuir. Catherine II accorde en 1781 le statut de ville, dont le blason créé à cette époque reprend les couleurs du régiment d'Arzamas.