Initialement connu sous le nom de Sōja (à ne pas confondre avec la ville actuelle de Sōja), la ville de Tsuyama fut désignée capitale de la province de Mimasaka en 713. Dans ses premières années, c'était juste une petite ville avec peu d'influence, mais en 1603 les choses commencèrent à changer après que Tokugawa Ieyasu ait réussi à vaincre les seigneurs de guerre locaux et à unir la nation sous son règne. Tokugawa Ieyasu attribua la province de Mimasaka à Tadamasa Mori qui commença rapidement à développer la capitale de son domaine. Une fois en être devenu le dirigeant, Mori planifia la construction de son propre château, et treize ans plus tard la construction du château Tsuyama à Tsuruyama (on pense que le nom «Tsuyama» vient le là) fut terminée. À son apogée, on disait que le château de Tsuyama était le plus magnifique de tout le Japon, avec une quantité impressionante de fortifications, encore plus beau que celui de Himeji. La ville a prospéré comme une ville fortifiée.