Anche Giacomo Leopardi restò incantato dal Palazzo Estense tanto che lo definì una "Piccola Versailles". 

Il Palazzo fu costruito nella seconda metà del XVIII secolo per divenire dimora di Francesco III d’Este, Duca di Modena e Governatore della Lombardia. Francesco III era infatti stato ospite dei Menafoglio a Varese nel 1755 ed era rimasto così colpito dalla città da desiderare di ottenerla in feudo, come in effetti accadde.

Il Palazzo di corte fu realizzato restaurando la Villa di Tommaso Orrigoni, demolendo parte delle case esistenti e modificando sensibilmente gli spazi in modo che potessero accogliere al meglio la corte e le autorità e potessero - al contempo - essere lo scenario perfetto per feste ricche e sfarzose. Il progetto fu affidato all’architetto Giuseppe Antonio Bianchi che curò anche la realizzazione dello splendido giardino settecentesco, uno dei più belli di tutta la Lombardia.

Entra nelle sale interne del palazzo per ammirarne le decorazioni con stucchi realizzati ad arte, ma soprattutto il bellissimo Salone d’onore. Il giardino, che si unisce a quello di Villa Mirabello, è animato da viali, aiuole e da una grande vasca circolare. Ogni estate viene illuminato in occasione dello spettacolo "Suoni e luci", davvero imperdibile. Oggi è sede dell’Amministrazione Comunale e della Biblioteca Civica; alcuni ambienti vengono utilizzati per conferenze e concerti.