La villa venne eretta attorno al 1765 per volontà della famiglia dei marchesi D'Adda, i quali edificarono il primo nucleo del complesso, corrispondente al corpo centrale del quale ancora oggi si conserva la facciata rivolta a settentrione. Questo primo progetto è stato attribuito a Francesco Croce, architetto all'epoca tra i più noti nella realtà milanese.

I progetti andarono a rilento anche a causa dell'iniziale decadenza della famiglia, che però riacquistò vigore nel 1781 quando Giovanni Battista d'Adda, V marchese di Pandino, affidò l'incarico di ristrutturare la villa all'architetto Giuseppe Piermarini, per sottolineare un momento di rinnovato splendore per la sua casata che proprio in quell'anno era tornata a godere dei diritti feudali su Cassano d'Adda. L'incontro tra il marchese e l'architetto era avvenuto a Milano proprio in quegli anni, dove il primo era il rappresentante degli aristocratici proprietari dei palchetti al Teatro alla Scala che era andato recentemente distrutto da un rovinoso incendio e la cui ricostruzione era stata affidata proprio al Piermarini.

Lo schema della villa progettato dal Piermarini si ricollega alla tradizione lombarda del XVII-XVIII secolo, è formata da 142 locali, compresi magazzini e scuderie. La sua superficie coperta supera i 5.000 m² ed è circondata da un parco di 70.000 m², ornato di viali di carpini e tigli secolari.