A nord della Chiesa Parrocchiale si trova il complesso edilizio chiamato " Palazzo Federici", difficilmente databile in modo preciso sia per i diversi rifacimenti subiti nel corso dei secoli, sia per la esiguità dei tratti murari e degli elementi decorativi originari pervenutici.

Attraverso l' analisi stratigrafica sono state individuate tre fasi di sviluppo e di edificazione del complesso che doveva occupare lo spazio di un intero isolato. Al suo interno, oltre alle stanze private del signore e a quelle in cui egli esercitava le pubbliche mansioni, doveva esservi anche la chiesetta privata che i documenti attestano dedicata a S. Leonardo.

Per quanto riguarda la fase medioevale è stata verificata la presenza dei resti di almeno tre strutture risalenti alla seconda metà del XIV secolo :
a) la torre al centro dell' isolato;
b) un ampio edificio rettangolare;
c) il portale con la muratura ad esso collegata;

Quindi verso la fine del XIV secolo e la prima metà del XV secolo le abitazioni fortificate dei Federici erano costituite da un palazzo rettangolare, affiancato a nord da una robusta torre, il tutto all' interno di un recinto murario di grosso spessore.

Questa fase è, probabilmente, legata alla figura di Giovanni Federici (1340 ca - 1416), uno dei membri più importanti della famiglia che nel 1410 fu infeudato della contea di Edolo-Dalegno e trasferì la sua residenza a Vezza disponendo l' edificazione del palazzo.