Davanti alla villa si dispiega ancora uno scenografico viale alberato, perpendicolare alla via Sestese che termina in un grande piazzale erboso semicircolare, perimetrato da un basso muretto di cinta, dove un tempo si trovavano delle vasche colme di pesci alimentate da due canali laterali. Da queste vasche la villa prese uno dei suoi nomi quello di Villa del Vivaio. Originariamente era previsto il suo prolungamento fino all'Arno. Il viale alberato è oggi un parco pubblico. L'accesso al giardino vero e proprio avviene invece attraverso un grande cancello posto sulla sinistra della villa.

Il giardino rappresenta l'esempio meglio conservato di "giardino all'italiana" secondo i canoni e le descrizioni di Leon Battista Alberti. Alcuni elementi sono riconducibili alle origini quattrocentesche, come la forma compatta e geometrica, qui disposta su tre terrazze digradanti verso il retro della villa, ma numerose e di gran pregio sono anche le aggiunte del secolo successivo, come la Grotta degli Animali, le figure rustiche e la presenza dell'acqua, più tipiche del manierismo.

La Grotta degli Animali è uno degli ambienti architettonici più suggestivi e rilevanti dell'architettura manierista, pur essendo realizzata in un periodo nel quale i caratteri del nuovo stile non erano ancora ben definiti. Fu realizzata dal Tribolo, che oltre all'architettura scolpì direttamente le vasche, e forse portata a termine da Giorgio Vasari, avvalendosi delle sculture del Giambologna, una piccola parte delle quali, raffiguranti vari volatili, si trova oggi al Museo del Bargello. Montaigne, che visitò il giardino nel 1581, rimase incantato dalla grotta e la descrisse nelle memorie del suo viaggio in Italia.