ll Castello Visconteo di Lodi è una costruzione medievale che fungeva da fortezza difensiva. In passato la cittadina lombarda era circondata e difesa da una cinta muraria, lungo la quale si aprivano le tre porte d'accesso alla città. Due di queste erano poste sul lato sud, in direzione delle principali città alleate: Porta Cremonese e Porta Pavese; la terza era detta Porta Regale ed era la più vulnerabile poiché si trovava sulla strada per Milano; essendo la più insicura, Federico Barbarossa decise di commissionare l'edificazione del Castello cui sì si accedeva tramite la Porta Imperiale.  
La struttura fu rimaneggiata varie volte con il passare del tempo, e ciò che noi possiamo ammirare oggi risale al periodo che va dal 1355 al 1370, su commissione di Barnabò Visconti, che desiderava avere anche quattro torri e profonde prigioni, da situare nel sottosuolo. 
Nel 1416 Filippo Maria Visconti rinforzò il rivellino interno con una rocca fortificata fuori delle mura e più tardi, quando, a causa alle bonifiche dei terreni circostanti, fu necessario proteggere anche le nuove zone strappate alle paludi, la fortezza fu resa ancor più sicura da Francesco Sforza che nel 1456 fece aggiungere sullo spigolo a nord, una torre rotonda, opera dell'ingegner Serafino Gavazzi, affiancata a quella di pianta quadrata di cui il castello già disponeva. 
Il Torrione, che divenne uno dei simboli di Lodi, fu alzato nel 1906 per contenere il serbatoio dell'acquedotto comunale, mantenendo però l'integrità dell'edificio.
Sotto la dominazione austriaca di Francesco Giuseppe, il castello subì notevoli danni a causa di lavori che miravano alla sua demolizione. In questo periodo furono riempiti i fossati, tolti i ponti levatoi e distrutto un intero lato del castello che fu trasformato in caserma. Sui tre lati rimasti furono costruiti dei porticati sovrastati da un doppio ordine di logge, così come si vede ora. Già dai primi anni del XIX secolo il castello perse il suo vero aspetto e la sua funzione. 
Oggi il Castello Visconteo non è visitabile, poiché è sede della Questura della Polizia di Stato.
Nei sotterranei sotto al castello, ad una profondità di circa sei metri, sono stati scoperti alcuni cunicoli appartenenti probabilmente al rivellino esterno. Alcuni di queste gallerie sono alte fino a 2,70 metri, consentendo quindi il passaggio di un uomo a cavallo, e in taluni punti si sviluppano anche su due livelli comunicanti fra loro. L'esplorazione di questi ambienti, è iniziata negli anni duemila, tuttavia le indagini risultan essere difficoltose a causa del fatto che negli anni cinquanta essi furono in gran parte sotterrati e talvolta murati.
Esiste anche l'ipotesi che in passato Lodi fosse completamente attraversata da gallerie sotterranee che conducevano sia fuori le mura, attraverso il rivellino esterno, sia nel cuore della città, attraverso il rivellino interno, verso il sagrato di Piazza della Vittoria. L'utilità di questi passaggi era sia difensiva (costituivano, una via di fuga in caso d'attacco), che offensiva (permettevano di sorprendere improvvisamente il nemico che occupava parti della città). L'utilizzo dei cuniculi sotterranei è attestato dal Guicciardini nella sua celeberrima opera "Storia d'Italia".