Ammersoyen heeft net als het Muiderslot en Medemblik een vierkant grondplan met ronde hoektorens. Ook Ammersoyen werd in één keer opgetrokken. Hiertoe waren alleen zeer machtige en welgestelden in staat.
Het kasteel wordt vernoemd als Arent van Herlaer het in leen ontvangt van ridder Jan van Herlaer, heer van Ameyde.
Wanneer de eerste steen is gelegd is onduidelijk, maar rond 1026 wordt er al een heerlijkheid met een dezelfde naam vermeld. In de middeleeuwen is er rond 1354 voor het eerst sprake van een kasteel.. Het huidige kasteel is middeleeuws, met een vierkant grondplan en vier ronde hoektorens. In 1590 werd het kasteel door een brand totaal verwoest. Circa 10 jaar later werd een begin gemaakt met de herbouw. Die voortduurde tot in de 17e eeuw, getuige de diverse gevelstenen. Bij een inval van Franse troepen in 1672 bleef het kasteel gespaard, terwijl het dorp in vlammen opging. Door het in gebruik nemen van het kasteel als klooster werd rond 1893 de grachten gedempt en een kapel aan de westzijde gebouwd. In de tweede wereldoorlog werd het kasteel zodanig beschadigd dat het onbewoonbaar werd.
Van 1959 tot 1975 werd er onderzoek gedaan en herstellingen uitgevoerd, waarbij de gracht weer opengelegd werd en de kapel gesloopt.
In 1280 wordt een Johan van Herlaer als heer van Ammersoyen genoemd , maar waarbij het onduidelijk is of er ook sprake is van een kasteel.
In 1354 wordt de heerlijkheid in de mannelijke lijn vererft aan Arent van Ammersoyen en er een kasteel wordt genoemd. De kasteelheer was leenplichtig aan de Graven van Gelre, maar in 1386 , koos hij bij een conflict de zijde van de Johanna van Brabant en werd het kasteel door Graven van Gelders verovert In 1405 werd het toebedeeld aan Reinoud IV van Gulik-Gelre, broer van hertog Willem van Gulik, graaf van Gelre. In 1424 werd het verkocht aan Johan van Broeckhuysen, waarna het kasteel door vererving in het geslacht Van Arkel. Na de brand in 1590 werd door zoon Otto van Arkel een aanvang gemaakt met de herbouw. Het kasteel is tot 1693 in bezit gebleven van het geslacht Van Arkel Tussen 1693 en 1873 heeft het kasteel verschillende eigenaars gehad. In 1873 kwam het kasteel in bezit van de gemeente Ammersoden die het kasteel 1876 tot een klooster liet ombouwen. Na WO II werd de Stichting Vrienden der Gelderse Kasteelen opgericht en in 1957 werd het kasteel door de stichting gekocht.