Antico fortilizio di origini altomedioevali, dal 1364 appartenne alla famiglia Brunelleschi, e dal 1422 agli Strozzi. La prima notizia che i Medici avevano il possesso della Petraia risale all'ottobre 1544.

Donata da Cosimo I al figlio cardinale Ferdinando nel 1568, fu ampliata e trasformata in villa per iniziativa di quest'ultimo. Lavori consistenti si ebbero negli anni 1573-1574, e tra il 1591 e il 1597. Gli interventi determinarono l'aggiunta di un corpo a nord, la creazione di un nuovo cortile interno con due porticati e due logge, e il rialzamento della torre.

Nel 1589, Bernardino Barbatelli, detto il Poccetti, affrescò la cappella del piano nobile con la collaborazione di Cosimo Daddi.

Nel 1609, la Petraia passò a don Lorenzo de' Medici, che apportò modifiche rilevanti al complesso.

Nel 1622, fu consolidata la torre, e venne allestita una ricchissima pinacoteca costituita soprattutto da opere di artisti fiorentini come Cesare Dandini, Giovanni da San Giovanni, Carlo Dolci, Stefano della Bella.

Nel 1636, Ferdinando II affidò a Baldassarre Franceschini detto il Volterrano l'esecuzione di un ciclo di affreschi all'interno del cortile centrale, su temi che miravano ad esaltare i fasti della casa Medici e l'azione dei cavalieri di Santo Stefano.

A Pietro Leopoldo, tra il 1783 e il 1785, si deve il trasferimento da Castello alla Petraia della fontana con la Venere-Fiorenza del Giambologna, che venne collocata al centro del giardino a levante da quel momento chiamato il ‘Piano della figurina'. Nel 1822 venne costruita la limonaia sul lato est del giardino, mentre nel 1825, per proteggere una collezione di piante esotiche, si costruì il tiepidario.

Tra il 1836 e 1850 si impiantò il parco paesaggistico su disegno del giardiniere boemo Joseph Frietsch. Il progetto si completò con la creazione di un viale di collegamento fra le ville di Castello e Petraia, e con sentieri e vialetti che s'inerpicavano sulla collina aprendosi su scorci prospettici e fiancheggiando ruscelli e laghetti.