La costruzione fu iniziata da Alessandro Sforza verso la metà del Quattrocento, su un nucleo originario che era proprietà dei Malatesta e terminata poi dai Duchi di Urbino.

La facciata è costituita da un portico di sei arcate rette da massicci pilastri a bozze e da un piano superiore con cinque finestre coronate di stemmi, festoni e putti. Il fianco destro (l'unico fianco visibile), ha l'arco terminale del portico in stile gotico e, al piano superiore, due grandi finestre, simili a quelle frontali ma prive di coronamento.

All'interno del palazzo il camino della sala d'aspetto è opera di Federico Brandani e raffigura una corsa di bighe intorno alle mure roveresche; gli altri saloni sono ornati da arabeschi, mentre il camerino da bagno è decorato di stucchi policromi. Fra i pittori che hanno partecipato ai lavori di affresco si ricorda Francesco Menzocchi.