Inglobando il vecchio castello l'Avanzini costruì un palazzo monumentale che fu decorato principalmente dal pittore francese Jean Boulanger, oltre ad altri artisti italiani dell'epoca come Giacomo Monti, Baldassarre Bianchi, Pier Francesco Cittadini, Michelangelo Colonna e il Guercino.
A fianco del portale della facciata si trovano due statue raffiguranti Galatea e Nettuno, opera di Antonio Raggi di Vico Morcote detto il Lombardo. Di fronte all'entrata nel cortile interno c'è in una grande nicchia la fontana con Nettuno, e altre due statue rappresentanti l'Allegrezza e l'Eternità opera di Maschio Lattanzio sono lungo lo scalone principale che sale al primo piano. Fra di esse è rappresentato il Ratto di Proserpina. La prospettiva delle pareti del cortile e dello scalone ed i dipinti sono dovuti ad Agostino Metelli, al Colonna, al Monti e al Bianchi.
Al primo piano è una grande galleria con opere di Monti e di Bianchi per l'architettura dipinta e gli ornati. Le figure sono del Boulanger, che ha rappresentato scene mitologiche riguardanti Bacco in una grandiosa successione di colori e di forme sulle pareti e la volta. Dalla galleria, che ha ampie vetrate sulla facciata verso la piazza che precede il palazzo e da cui riceve la luce, si accede agli appartamenti del Duce e della Duchessa, affrescate con scene mitologiche e allegorie di varie Virtù ad opera del Boulanger e in piccola parte dal suo allievo Pietro Galluzzi da Urbino.
Nella sala detta dei cavalli, secondo un'antica descrizione del palazzo, erano anche sei grandi tele rappresentanti sei Principi estensi a cavallo, opere d'insigni pittori italiani. Due tele mancano e sono state portate a Parigi ai tempi dell'occupazione napoleonica e poi vendute. Su una parete è dipinto Francesco I a cavallo con lo sfondo della città di Modena, con la cittadella pentagonale fatta costruire da lui a difesa della città. È opera del noto pittore Lodovico Lana. Nella stessa parete è un quadro attribuito a Dosso Dossi raffigurante Alfonso I d'Este in armatura di guerra su un cavallo sauro e, in lontananza, un fatto d'armi in cui si distinse il duca che costrinse alla fuga le truppe pontificie che volevano sorprendere e conquistare Ferrara. Il salone è anch'esso interamente affrescato dal Colonna e dal Monti ed è dedicato alle glorie di Casa d'Este.
Il grandioso parco, che si estendeva fino alle colline dal palazzo collegato da un'ampia scalinata ed era ornato di statue, tra cui una di Bernardo Falconi di Bissone, e di fontane che si cerca oggi di restaurare, è utilizzato come parco pubblico per i cittadini di Sassuolo.
