Anticamente si trovava in questo luogo una fortezza duecentesca con una grande prato antistante, di proprietà dei potenti Della Tosa di Firenze, dei quali resta uno stemma sull'antica torretta trecentesca oggi inglobata nel corpo della villa. Il Della Tosa furono con i Donati la principale famiglia della fazione dei guelfi neri, ed avevano numerosi possedimenti tra Sesto, Quinto, Colonnata e Querceto.

Nel 1322 il cronista Simone della Tosa annotò come d'agosto io Simone feci alzare e merlare la torre di Colonnata.

Dopo più di tre secoli la famiglia cedette il possedimento con tutti gli annessi ai Fiorelli (1546) e nel 1592 la villa andò in dote ai Manieri. Nel 1639 invece fu la volta dei Capponi, ai quali seguirono altri passaggi di proprietà, finché nel 1911 venne comprata da Arturo Villoresi, i cui discendenti posseggono ancora il complesso, che è stato adattato ad uso alberghiero negli anni '60 del Novecento.

La villa all'esterno mantiene ancora l'aspetto tardo medievale, con i possenti muri perimetrali e la torretta, "scapitozzata" in antico. Il cortile presenta ancora un muro merlato e una ballatoio sporgente, sostenuto da volte su mensoloni in pietra digradanti, tipico dell'architettura fiorentina a cavallo fra Tre e Quattrocento.

Notevolissima è la loggia al primo piano che guarda a Mezzogiorno verso il giardino all'italiana, tra le più lunghe dell'intera regione, ben trentacinque metri, sostenuta da sette colonne in pietra.

L'interno della villa possiede numerosi ambienti di pregio. Tra questi spicca la galleria al pian terreno, che collega l'ingresso principale con il giardino e le altre stanze, dove sono stati affrescati elementi vegetali, fiori, uccelli, rovine egizie ed altro, racchiusi entro un pergolato in trompe-l'œil.

Al primo piano una sala è stata affrescata dal pittore romano Bartolomeo Pinelli, che vi raffigurò le sue tipiche figure pittoresche di popolani e contadini.