Il palazzo, con pianta a T, sorge all'estremità nord dell'isola, dominata dalla facciata lunga 80 m, con al centro la sporgenza curvilinea del salone d'onore, sviluppato su due piani e coperto a cupola. La cappella custodisce oggetti appartenuti a san Carlo Borromeo e al cardinale Federico, nonché tre monumenti sepolcrali di personaggi della casata. Al primo piano, intorno al salone centrale si trovano sale decorate e arredate, tra cui la sala di Napoleone, dove questi soggiornò nel 1797, la sala del Trono e la sala della Musica.

Gli ambienti ospitano quadri di noti pittori, tra i quali Luca Giordano, Francesco Zuccarelli e Pieter Mulier, detto il Tempesta. Nella galleria degli Arazzi sono conservati arazzi fiamminghi cinquecenteschi con scene di animali simboleggianti la lotta tra il Bene e il Male. Nel 2008 è stata inoltre riaperta al pubblico anche la galleria dei Quadri (o del Generale Berhier), dove si conserva la collezione di pitture della famiglia, con opere di Raffaello, Correggio, Tiziano e Guido Reni, insieme alla sala della Regina e alla sala del Trono. Al piano terra si aprono verso il giardino una serie di ambienti con decorazione a grotta, con motivi decorativi formati da ciottoli e piccoli sassi.

Si accede ai giardini per mezzo del'"atrio di Diana", uno spazio aperto a pianta poligonale chiuso sul fondo da una nicchia con statua della Dea, ai cui lati partono due scalinate ricurve: la pianta e la disimmetria nascosta delle due scalinate nascondono il disassamento tra palazzo e giardini. Da qui si passa al "piano della Canfora", così detto per un monumentale albero di Cinnamomum camphora, impiantato nel 1820. In sei aiuole disposte simmetricamente sono ospitate numerose piante esotiche. Sul lato meridionale il piano della Canfora è dominato dal "Teatro massimo", articolato in tre esedre sovrapposte e caratterizzato da numerose statue. Alcune scale conducono alla terrazza superiore, mentre i lati digradano con quattro gradinate a stretti ripiani, a forma di piramide. Verso sud si trova il "giardino Quadro", sistemato con una vasca centrale e aiuole simmetriche decorate da siepi in bosso. All'angolo sud-est il "giardino Triangolo" a livello inferiore, e il "ripiano ad est". Sul lato nord-est si ammira il "giardino privato".