L'edificio attuale venne eretto nel 1270 su disegno di Margaritone d'Arezzo, come afferma Giorgio Vasari, in stile gotico. Costruito in un terreno molto scosceso, si presenta alquanto particolare nella sua struttura architettonica, appoggiandosi al pendio e avendo originariamente sei piani verso il porto e solo tre verso la collina. Ha due fronti principali, uno occidentale (o inferiore), verso il mare, e l'altro orientale (o superiore), verso la piazza antistante; a causa del dislivello del terreno, il piano terra del fronte superiore corrisponde al terzo piano del fronte inferiore.

Il fronte verso il porto conserva in linea di massima le forme datole da Margaritone, con l'alto basamento ad arconi ogivali in calcare bianco del Conero e il resto della struttura in laterizi, dove si aprono tre ordini di aperture: il primo a semplici archi gotici che danno accesso ad un marciaronda, il secondo a bifore, il terzo ad archetti incrociati.

Il fronte superiore, modificato poi nel Seicento, era completamente in calcare del Conero ed aveva al pian terreno un porticato e al primo piano un loggiato, configurandosi quindi come una facciata ove prevalevano i vuoti sui pieni, con il suo doppio ordine di archi gotici. Al primo piano la facciata superiore era decorata da una serie di bassorilievi, della mano dello stesso Margaritone, rappresentanti storie bibliche.