Zur Verteidigung gegen die ungarischen Invasionen im 10. Jh. entstand das Schloss von Polpenazze, welches von den Visconti zu Beginn des 15. Jh zerstört und im Jahre 1426 von der Gemeinde Polpenazze neu erbaut wurde. Um den Bau der neuen Pfarrkirche zu ermöglichen, wurde der südliche Teil abgerissen und ein Mauerturm in einen Kirchturm umgewandelt. Heute ist nur noch der Eingang des mittelalterlichen Schlosses geblieben.