L’attuale Castello Visconteo sostituisce il più antico castello, posto in prossimità della Chiesa di S. Maria Vecchia, che fu distrutto dall’imperatore Federico Barbarossa nel 1167.

Collocato in modo strategico a ridosso del Naviglio, fu costruito alla fine del XIII secolo, fu ampliato e ristrutturato probabilmente per volontà di Azzone Visconti (1329- 1339). Nel 1354 Galezzo II Visconti dona la rocca alla moglie Bianca di Savoia e da allora sarà tradizione dei duchi di Milano concedere il Castello alle mogli come dono di nozze.

Nel 1381 con Gian Galezzo il castello si trasforma da rocca difensiva in dimora signorile. Sarà sempre Gian Galezzo che farà nascere il suo primo erede, Giovanni Maria, qui nel Castello. L’evento del 7 settembre 1388 sarà ricordato con la dedicazione della Chiesa di “Santa Maria Nascente”, oggi nota come S. Maria Nuova. Sarà con Filippo Maria, l’ultimo erede dei Visconti, che il castello vedrà il suo massimo splendore con nuove decorazioni, di cui restano oggi solo alcuni affreschi nel cortile e nelle sale interne con il motto “a bon droit”, a dimostrazione del suo potere assoluto. All’ultimo piano del castello, dove vi erano le prigioni, si vedono incise sul muro le scritte e i disegni lasciati dai prigionieri politici dell’epoca della Repubblica Ambrosina 1447-1450, conclusa con la presa di potere di Francesco Sforza.

La figlia naturale di Filippo Maria (poi legittimata) Bianca Maria Visconti sposa di Francesco Sforza, nata e cresciuta qui avrà sempre caro questo borgo, così il suo primo erede Galeazzo Maria Sforza che soggiornerà a lungo anche per seguire i lavori del Convento dell’Annunciata da lui voluto. Nella sala in fondo al primo piano, è stata incisa la data di nascita di Gian Galeazzo Maria Sforza, primo figlio di Galeazzo Maria e Bona di Savoia: “20 giugno 1469”. 

Ludovico il Moro, fratello di Galeazzo, prediligerà invece il Castello di Vigevano, facendo rinchiudere qui ad Habiate la cognata Bona di Savoia, rimasta vedova. Progressivamente il Castello perde importanza, riducendosi a fortezza, con la fine della dinastia Sforza. E’ sede di scontri tra francesi e spagnoli (1524 -1527), che comportano la rovina di parte dell’edificio. In epoca spagnola il Castello va incontro ad un progressivo degrado, fino al 1658, quando venne parzialmente abbattuto e la sola torre rimasta, su 4, ribassata.

Ridotto a dimora nobiliare, resta in mani private fino al 1862, quando il Comune lo acquista, per collocarvi prima le scuole, poi sedi comunali. Attualmente, dopo un restauro terminato nel 1994 e uno terminato nel 2009, ospita la Biblioteca Civica R. Brambilla, altri uffici comunali ed è sede di eventi culturali