Il Palazzo, centro del governo del Comune e delle Signorie, risultato architettonico dell'addi­zione di diversi interventi costruttivi che si protrassero per circa un secolo, si sviluppa su pianta complessa intorno a vari cortili interni ed è inscrivibile in un quadrilatero di circa 100x75 metri.

Il lato meridionale, verso via Cardinal Querini di fronte al fianco sinistro del duomo, corrisponde alI'antico "Palatium Novum Maius" (1223-1227) che fu ampiamen­te modificato, soprattutto nel Seicento. Massicce murature in pietra caratterizzano questo lato e quello orientale, a differenza dell'ala occidentale, che venne completata in cotto a partire dalla fine del XIII secolo.

All’esterno, da via Cardinal Querini si nota subito la torre dei Poncarali inglobata nel muro perimetrale sud nell’avanzare della costruzione del Broletto ma che si distingue da esso per il bugnato rustico con cui è stata costruita; originariamente alta una trentina di metri, fu capitozzata nel 1258 per ordine di Ezzelino da Romano e ridotta a circa 19 metri.

Intera è invece la torre del Pègol o del popolo presso la quale si addossava la prima costruzione del palazzo comunale (1187) in gran parte in legno; alta m 53,7 reca alla sommità una piccola cella campanaria coperta in cotto nascosta dai merli ghibellini aggiunti nei primi anni del XIX secolo; sul lato interno al primo cortile del Broletto reca l’orologio proveniente dalla vicina cattedrale San Pietro de Dom demolita alla fine del XVI sec.

Accanto alla torre, affacciata alla piazza Paolo VI si nota il balcone detto loggia delle Grida (che fu distrutta dai Giacobini nel 1797 e ricostruita all'inizio del Novecento) e, a sinistra del portale, sul vicolo omonimo, la facciata in cotto della chiesa di Sant’Agostino risalente ai primi decenni del XV secolo. Essa fu incorporata nel Broletto nel XVI secolo e trasformata completamente nel suo interno fino a che, nel 1803, l'abside lasciò il posto alla scala del Pollack.  

Si accede al Broletto attraverso il portale ovest del 1606 ornato da colonne monolitiche di epoca romana in granito egiziano, già elementi decorativi dell’accesso della demolita cattedrale di San Pietro de Dom; la parte superiore del portale è stata progettata dal Tagliaferri alla fine del XIX secolo.

Nell’androne la lapide abrasa dai giacobini, posta sotto la scultura della Giustizia in trono, rappresentava il leone di San Marco. A destra è ancora visibile l’affresco trecentesco della Madonna con bambino in trono.

Nel grande cortile meridionale, ornato da una fontana settecentesca al centro, danno a ovest e a sud le ali di edificazione più antica del palazzo nuovo maggiore dove si aprivano portici oggi murati; pregevoli sono i capitelli antela­mici delle polifore al primo piano, soprattutto quelli della quadrifora di sinistra che ha nella lunetta un oculo lobato, rappresentanti dodici figurazioni dei mesi. Si noti la ricostruzione dell’antica scala in legno che dava, nel Medioevo, accesso alla grande sala del Maggior consiglio al primo piano.

Il lato orientale e occupato dal palazzo nuovo minore così detto perché completato successivamente (1232) a quello del primo edificio del lato ovest. Nel primo ventennio del XV secolo fu arricchito dalla loggia malatestiana,con quattro raffinati archi a sesto leggermente acuto, volte a crociera e costoloni. Pandolfo Malatesta fu pure il committente degli affre­schi di Gentile da Fabriano, dei quali sono stati recentemente rintracciati pochi frammenti; altri affreschi di Lattanzio Gambara, che decoravano la loggia, andarono purtroppo distrutti nel bombardamento che colpì il Broletto e la piazza Paolo VI il 13 luglio del 1944. La base dei pilastri recentemente messa a nudo, evidenzia il livello del terreno all’epoca, inferiore a quello attuale.

Il lato settentrionale del cortile è occupato da una costruzione del 1626 con portico di gusto classicheggiante, bugnato, con mascheroni nelle chiavi degli archi, e loggiato.

Il portale est (1610) è perfettamente allineato -sul tracciato di un antico decumano- con quello a ovest che dà su Piazza Paolo VI. Entrandovi per qualche metro, prima del secondo portale (1626) che dà nel cortile, si incontra sulla sinistra lo scalone del Lezze (1610) che conduce agli uffici dell’anagrafe.

Superati lo scalone e il corridoio con i soffitti decorati da Tommaso Sandrini e Francesco Giugno (1574-1651) si entra nella sala del Podestà, un tempo sala unica di 52 per 15 metri, ridotta nel ‘600 in quattro sale. Anche l’altezza della sala originaria (9 metri) è stata ridotta ed ognuna delle quattro sale attuali ha una volta affrescata: La Forza che trattiene la Fortuna e Virtù sulle nubi che preme il mondo di Antonio Gandino, L’abbondanza nella seconda sala, sempre di Gandino, e nelle due successive affreschi di Tommaso Sandrini: L’allegoria del Tempo nella terza e figurazioni allegoriche femminili nella quarta.

Nel vano tra le volte delle sale dell’anagrafe e il tetto a capriate dell’antica sala del Maggior consiglio, si trovano gli antichissimi affreschi della seconda metà del XIII secolo dei Cavalieri fatti prigionieri, interrotti nella parete nord dall’affresco dell’inizio del XIV secolo La pace di Berardo Maggi di ben più raffinata fattura.