Comme la plus grande partie de la région du Tōhoku, Yamagata a été à l'origine habitée par les peuples Aïnu et Emishi. Ils en furent chassés en 708 par l'avancée vers le nord du peuple Yamato et alors que la région correspondant de nos jours aux préfectures de Yamagata et d'Akita fut annexée sous le nom de Province de Dewa en 712. La capitale de l'époque se trouvait à Sakata, mais la zone dans et autour de la ville actuelle de Yamagata avait une population importante. À cette époque, des forts furent construits et seront développés pour devenir le château de Yamagata et Yamadera sera construit comme le plus important temple de la province. Les sources du mont Zaō étaient déjà connue et fréquentées par des visiteurs.