La hestoria del castiellu remontar a la yera Nanbokuchō, cuando Akamatsu Norimura del cla Akamatsu, foi nomáu shugo de la provincia de Harima en 1336 al sofitar la cayida de la Restauración Kenmu y l'ascensu del shogunato Ashikaga. Norimura yera un budista devotu y construyó el templu Shōmyō (Shōmyō-ji) na base del monte Himeyama. Cuando foi asocedíu pol so segundu fíu, Sadanori, ésti construyó una fortificación nel visu del monte escontra 1346. Esta cla ocupó la edificación hasta la so cayida en 1441, cuando fueron ganaos na Guerra de Kakitsu. El cla Yamana ocupar de volao hasta la Guerra de Ōnin (1467 - 1477) cuando foi debilitáu pol cla Hosokawa, lo que provocó que la cla Akamatsu llograra reconquistar la fortificación.