Il palazzo fu iniziato, nel 1563, da Alberico I Cybo-Malaspina come sede della corte trasformando una preesistente villa della famiglia. Il primo nucleo della casa era rivolto verso via Guidoni, dove si trovava l'ingresso principale; la facciata si presentava su un giardino, che arrivava fino all'attuale via Alberica. Nel 1563 venne fatto il primo ampliamento che consisteva in una nuova ala verso l'attuale Piazza Aranci, inserita ad angolo retto, rispetto all'altra che guardava verso via Guidoni. 

L'intero lato orientale di piazza Aranci è occupato dal grandioso palazzo voluto da Alberico I Cybo-Malaspina. Le attuali forme e il caratteristico colore rosso sono opere settecentesche di Alessandro Bergamini. L'esterno, come l'interno, è ricco di finestre decorate da stucchi e portali marmorei che danno un risalto maggiore al complesso, alto circa 20 metri.

Dopo aver superato il portone d'ingresso si giunge in un ampio cortile circondato da colonne, scalinate, loggiati e portali in marmo. In fondo ad esso si accede alla Grotta del Nettuno, un ambiente roccioso, tipicamente di stile rococò su cui troneggia la statua di Nettuno che cavalca le onde. Le due stanze adiacenti sono state affrescate nelle volte da Stefano Lemmi nel 1702 con Le manifestazioni dell'ingegno umano e La glorificazione dei quattro pontefici delle famiglie Cybo e Pamphili. Salito lo scalone si arriva al piano nobile, dove gli ambienti sono preceduti da un loggiato decorato da colonne di marmo e stucchi: Salone degli Svizzeri, Salone della Resistenza e Salone degli Stucchi, tutti e tre riccamente adornati. Non visitabili, perché compresi tra i locali destinati alla Prefettura, sono la Cappella Ducale, con affreschi di Carlo Pellegrini nella volta e bassorilievo marmoreo raffigurante la Natività sull'altare, e la scenografica Alcova Ducale. Sempre nel palazzo era presente un piccolo teatro denominato Teatro Ducale che soddisfaceva il desiderio di divertimento della corte. Il terzo e ultimo piano della costruzione è adibito a sedi di uffici della Provincia e della Prefettura, alto 33 metri.