O edifício foi ampliado pelos seus sucessores: João Galeácio Visconti, Giovanni Maria e Filipe Maria, com este último a promover modificações e embelezamentos com a intervenção de Filippo Brunelleschi. O resultado foi um castelo de planta quadrada, cujos lados mediam 180 metros, e quatro torres nos cantos. A construção tornou-se residência permanente da Dinastia Visconti.
Em 1447 o palácio fortificado foi destruído pela recente Áurea República Ambrosiana.[3] Foi Francesco Sforza quem o reconstruiu em 1450 para fazer dele a sua residência depois de ter abatido a República. Em 1452, Filarete foi contratado pelo príncipe para a construção e decoração da torre mediana que, de facto, ainda hoje é chamada de Torre del Filarete.
À morte de Francesco Sforza, ocorrida em 1466, sucedeu-lhe o seu filho Galeácio Maria, o qual encarregou o arquitecto Benedetto Ferrini de continuar os trabalhos. A parte decorativa foi, pelo contrário, confiada aos pintores do ducado. Em 1476, sob a regência de Bona de Savoia, foi construída a torre homónima.
Em 1494 chegou ao poder Ludovico il Moro e o castelo tornou-se numa faustosa obra, para a realização da qual foram chamados a trabalhar alguns dos maiores artistas artistas como Leonardo da Vinci, que pintou o emaranhado de troncos de árvores da Sala delle Asse [4] (1496-1497), Bramantino, que criou o seu Argos para a sala do tesouro (1490-1493), e Bramante, que concebeu a ponticella de Ludovico il Moro, uma passagem coberta que fazia a ligação entre os apartamentos do duque e as muralhas exteriores.
Porém, nos anos seguintes o castelo foi danificado pelos contínuos ataques trocados entre franceses, milaneses e tropas germânicas. Em 1521, a Torre del Filarete explodiu, atingida por um relâmpago (ao que parece, seria usada como depósito de munições) provocando grandes danos e algumas mortes. Regressado ao poder e ao castelo, Francesco II Sforza reestruturou e ampliou a fortaleza, reservando uma parte para a sumptuosa residência da sua esposa, Cristina da Dinamarca.
Passado de mão para os Gonzaga sob o domínio espanhol, o castelo tornou-se no fulcro da nova cidadela, uma fortificação em estrela com 12 enormes bastiões, e sede das tropas militares ibéricas. As antigas salas afrescadas foram usadas como carpintaria e despensa, enquanto nos pátios foram construídos galinheiros em alvenaria.
Quando a Lombardia passou da Espanha para os Habsburgo da Áustria, por obra do grande general Eugénio de Saboia, o castelo conservou o mesmo destino militar. A única nota artística do domínio austríaco é a estátua de São João Nepomuceno, protector do exército austríaco, colocada no pátio da praça de armas.
Com à chegada a Itália de Napoleão Bonaparte, o Arquiduque Francisco I abandonou, no dia 9 de Maio de 1796, a cidade de Milão, deixando no castelo uma guarnição de 2.000 soldados sob o comando do tenente-coronel Lamy, com 152 canhões e um bom stock de pólvora, espingardas e forragens. Repelido um primeiro, e irrealista, ataque dum grupo de milaneses da corrente jacobina, foi submetido ao cerco francês, que duraria de 15 de Maio ao final de Junho. Num primeiro tempo, Napoleão ordenou que se restaurassem as defesas com o fim de ali abrigar uma guarnição de 4000 homens. Em Abril de 1799, o complexo sofreria o cerco das regressadas tropas austro-russas mas, um ano depois, após a Batalha de Marengo, o domínio francês foi restabelecido.
Logo em 1796 foi apresentada uma primeira petição popular que reclamava o abate do castelo, interpretado como símbolo da antiga tirania. Com um decreto datado de 23 de Junho de 1800 Napoleão ordenou, de facto, a total demolição. Essa foi realizada, em parte, a partir de 1801, só nas torres laterais e em todos os bastiões espanhóis, exteriores ao palácio dos Sforza, perante a exultação popular.
Em 1801 foi apresentado um projecto, da autoria do arquitecto Giovanni Antonio Antolini, para o remanejamento do castelo em formas notoriamente neoclássicas, com um átrio e doze colunas e circundado, além duma praça circular de cerca de 570 metros de diâmetro, por uma infinidade de edifícios públicos de forma monumental (as Termas, o Panteão, o Museu Nacional, a Bolsa, o Teatro, a Alfândega), ligados por pórticos sobre os quais seriam abertos armazéns, lojas e edifícios privados. Esse projecto foi rejeitado por napoleão, no dia 13 de Julho do mesmo ano, por ser demasiado dispendioso e, com efeito, desproporcionado para uma cidade de cerca de 150 000 habitantes.
Deste modo, foi retomado em consideração um segundo projecto, apresentado por Luigi Canonica, que limitava a intervenção somente à parte voltada para a Via Dante (que carrega, contudo, o nome do ambicioso projecto: Fórum Bonaparte) enquanto a vasta área traseira foi usada como praça de armas, coroada, anos mais tarde, pelo Arco della Pace (Arco da Paz), obra de Luigi Cagnola, naquele tempo dedicado a Napoleão.
Poucos anos depois, em 1815, Milão foi reocupada pelos austríacos de Bellegarde e o castelo enriquecido com panos de muralha, passagens, prisões e valas, tornando-se tristemente famoso pelo facto de, durante a revolta dos milaneses em 1848 (os chamados Cinque giornate di Milano - cinco dias de Milão), o marechal Radetzky ter dado ordem de bombardear a cidade com os seus próprios canhões.
Durante os trágicos acontecimentos das guerras da independência italiana, os austríacos retiraram-se por algum tempo e os milaneses aproveitaram para desmantelar parte das defesas voltadas para a cidade.
Quando, em 1859, Milão fica definitivamente nas mãos da Casa de Saboia e parte do Reino da Itália, a população invade o castelo, derrubando e saqueando em sinal de vingança.
Cerca de 20 anos depois, o castelo é assunto de debate, com muitos milaneses propondo a sua demolição para, deste modo, esquecer os séculos de jogos militares e, sobretudo, para construir um bairro residencial extremamente rentável: todavia, prevaleceu a cultura histórica e o arquitecto Luca Beltrami submeteu-o a um restauro maciço, quase uma reconstrução, que tinha como objectivo fazer regressar o castelo às formas da signoria dos Sforza. O restauro terminou em 1905, quando foi inaugurada a Torre del Filarete, reconstruída com base em desenhos do século XVI e dedicada ao rei Humberto I de Itália, assassinado poucos anos antes. Por outro lado, na velha praça de armas foram instaladas centenas de plantas no novo pulmão verde citadino, o Parco del Sempione, jardim paisagístico em estilo inglês. O Fórum Bonaparte foi reconstruído para fins residenciais frente ao castelo.
No decorrer do século XX o castelo foi danificado por uma bomba em 1943, e reestruturado depois do final da Segunda Guerra Mundial. Essa reconstrução do pós-guerra para fins museológicos ficou a cargo da sociedade de arquitectura BBPR.
Na década de 1990 foi construída na praça do castelo uma grande fonte inspirada numa anteriormente instalada naquele lugar. Em 2005 ficou concluído o último restauro dos pátios e salas.
O actual quadrilátero do castelo inclui a ampla praça de armas, o corpo do edifício que contém a entrada e a torre mediana, sendo interrompido pela Torre de Bona di Savoia. Antes da fachada de ingresso fica o fosso morto, parte do antigo fosso medieval em correspondência ao qual ficam as fundações do Castello di porta Giovia. Uma porta dá acesso ao pátio da Corte Ducal, de forma rectangular e com uma arcada em três dos lados. No lado oposto fica a Rocchetta, a parte do castelo mais inexpugnável, na qual os Sforza se refugiavam em caso de ataque.
O complexo do castelo fica no centro dum fosso, encerrando no seu interior muros renascentistas e alargado posteriormente (o chamado barco). Esta expansão em direcção ao campo era chamada de Ghirlanda (foi abatida por Beltrami) e ligava-se ao castelo interior por outros rivellinos e por uma barbacã, ainda hoje visível, mas em ruínas, assim como por parte da Ghirlanda (projectada nas esquinas das sólidas torres).
Rivellino do Santo Spirito (excursão entre os telhados e as passagens cobertas nos muros exteriores do castelo;
O rés-do-chão é consagrado às colecções arqueológicas do museu e a um conjunto de esculturas, incluindo uma Deposição de Guglielmo Della Porta, uma Alegoria de Agostino di Duccio e, sobretudo, a já citada Pietà Rondanini de Michelangelo, a sua derradeira obra, adquirida pelo museu em 1952. Também se encontram ali obras marcantes tanto pelo seu valor artístico como pelo seu significado para a história de Milão. Destacam-se:
O monumento funerário do Duque Barnabé Visconti e de sua esposa, Béatrice della Scala, sustentado por um conjunto de colunas de mármore. Esculpido em 1363 por Bonino da Campione, domina na entrada, com o duque imortalizado sobre o seu cavalo preferido.
Curiosa é a relevante colecção arqueológica de arte paleocristã e pré-colombiana recolhida por Carlo Dossi durante os seus anos de actividade escavatória nos territórios milanês, grego e sul-americano. A colecção foi, em parte, trazida pelo próprio Dossi e, em grande medida, doada ao Museu do Castello Sforzesco com a obrigação de instituir um museu, cuja causa também foi defendida pelos seus descendentes. Carlo Dossi cita várias vezes esta doação ao longo da sua obra Note Azzurre. Actualmente, estas colecções não estão expostas ao público, continuando guardadas nas caves do castelo.
A Pinacoteca ocupa o primeiro andar. Esta, dá uma ampla visão geral dos pintores da escola lombarda: Bernardo Zenale, Bernardino Luini (a Madonna com flores), Bramantino (Noli me tangere). Cesare da Sesto, (seis painéis do políptico de San Rocco), Giampietrino e Vincenzo Foppa (a Madonna no livro) como representantes dos pintores de início do século XVI e Giovanni Battista Crespi, dito Il Cerano (o arcanjo São Miguel), Giulio Cesare Procaccini (o martírio de Santa Agnes, a Sagrada Família adorada pelos anjos) e il Morazzone (Pentecostes) como representantes do século XVII.
Também estão igualmente representados pintores de outras escolas italianas, como Filippo Lippi (a Madonna Trivulzio), Andrea Mantegna (o Retábulo Trivulzio), Lorenzo Lotto (Retrato dum jovem homem), Correggio (a Virgem e o Menino com João Baptista), Alessandro Magnasco (o mercado).
Nestes últimos anos, o museu tem continuado a enriquecer as suas colecções. Foi assim que fez a aquisição de dois quadros de Canaletto - o molhe perto de Zecca, com a coluna de São Teodoro e o molhe perto da rive degli Schianoni, com a coluna de São Marco - e, em 1998, de Palazzo dei Giureconsulti e il Broletto, de Bernardo Bellotto.