La villa fu costruita per desiderio del Granduca Ferdinando I de' Medici. Filippo Baldinucci racconta che il granduca durante una delle frequenti battute di caccia sul Monte Albano, si fosse fermato proprio su questo poggio, in compagnia dell'ormai anziano architetto Bernardo Buontalenti, e colpito dalla suggestione del luogo, avesse espresso il desiderio di far costruire proprio in quel luogo una villa per sé e per la sua corte.

La villa venne costruita in soli quattro anni, dal 1596 al 1600 ed è un capolavoro della maturità del celebre architetto; rappresenta una summa stilistica delle altre ville medicee e ne chiude la stagione, completando il sistema regionale delle tenute dei Medici. L'anziano architetto, ammalato di gotta, diresse i lavori da Firenze, a riposo nella sua casa in Via Maggio, mentre sul posto operarono i suoi collaboratori Santi Maiani e Gherardo Mechini.

L'inconfondibile sagoma coronata dai numerosi camini e comignoli, domina la zona circostante come un bastione verso la gola nella quale l'Arno si serra contro il masso della Gonfolina. Senza la mediazione di un vero e proprio parco l'edificio si inserisce direttamente in un ambiente in parte boscato, in parte agricolo, imponendosi con la sua mole geometrica. Simbolicamente era il luogo per la percezione visiva dell'intero granducato, per questo Ferdinando commissionò al pittore fiammingo Giusto Utens una serie di 17 lunette con le ville medicee da collocare in un apposito salone detto appunto delle Ville; disperse nel Novecento oggi sono riunite al Museo di Firenze com'era a Firenze, anche se tre sono perdute, mentre nella villa sono state in seguito sistemate delle copie. Attiguamente, nella sala detta delle Guerre, lo stesso pittore realizzò altrettante lunette con scene di battaglie, che sono completamente andate disperse.

La villa era la favorita di Ferdinando per il periodo estivo e al piano nobile fu fatta decorare ad affresco da Domenico Cresti e Bernardino Poccetti con soggetti mitologici e allusivi alle virtù di Ferdinando: sono ancora visibili le decorazioni del salone centrale, degli appartamenti granducali, della loggia e dalla cappella. Esisteva poi un "guardaroba", decorato da eccezionali dipinti come il Ritratto di Pietro Aretino di Tiziano, oggi presso la Galleria Palatina e il Bacco di Caravaggio, in mostra presso gli Uffizi.

La villa è composta da un solido corpo centrale con due lunghe facciate simmetriche e quattro bastioni sporgenti agli angoli, due alti fino al tetto (dal lato occidentale, verso la campagna) e due tagliati al primo piano in modo da creare due terrazze (sul lato verso la città).

Sulla facciata principale si trova uno scalone sospeso, realizzato nel 1930, che raggiunge una loggetta con le quattro colonne doriche al piano nobile tramite un arco rampante, e, più in basso, si divide in due rampe simmetriche curvate. L'architetto Enrico Lusini la realizzò basandosi su un disegno originale del Buontalenti e distrusse una originaria scala a rampa unica.

Architettonicamente interessante è anche la Paggeria, che si trova a destra della villa, vicino agli scavi archeologici che hanno messo in luce un'area sacra appartenente ad un abitato etrusco. Si tratta di un edificio caratterizzato da un portico ad archi ribassati al piano terra e da un loggiato architravato al piano primo, e che è attribuito allo stesso Buontalenti. Oggi ospita un albergo e ristorante. Poco distante un edificio colonico, rimaneggiato, che riprende il portico della paggeria e che è anch'esso attribuito al Buontalenti.