In origine casa rurale degli Sforza, la villa viene ceduta a Guidubaldo II Della Rovere nel 1599. Bartolomeo Genga e Filippo Terzi sono gli architetti che la ristrutturano e ampliano per le esigenze dei duchi che vi soggiornano.

Il vastissimo parco che la circonda è solo parzialmente conservato e dà un'idea riduttiva dell’originario fastoso giardino all'italiana con grotte, peschiera, fontane e piante ornamentali di ogni genere. Dei due archi sui viali di accesso resta solo quello in via Solferino; l'altro, sul viale verso il ponte del Foglia, viene demolito nel 1861. L'edificio ha struttura asimmetrica, con il lato d'ingresso porticato.

All’interno, di grande interesse sono le cinque sale del primo piano, i cui affreschi, ultimati nel 1573, sono assegnabili a Federico Zuccari con l’intervento di Antenore Ridolfi, suo cugino e collaboratore nella decorazione di Villa Farnese a Caprarola. Il ciclo pittorico illustra, tra l’altro, imprese roveresche riferibili a Guidubaldo II, di cui ricorrono le iniziali sulle cornici delle porte.

Concessa nel 1777 in enfiteusi alla famiglia Albani, dal 1992 la villa è di proprietà di un industriale pesarese che ne fatto la sede di rappresentanza della sua azienda.

Inoltre la Villa comprende un importante museo con opere in vetro di grandi artisti contemporanei di fama internazionale come Arnaldo Pomodoro, Philippe Starck, Danny Lane. Un abbinamento raffinatissimo tra atmosfere rinascimentali ed eleganti espressioni di modernità.