Nel 1563 il letterato italiano Annibal Caro acquistò un terreno dall'Abbazia di Grottaferrata nei pressi di Frascati sul quale costruì una villa che chiamò "Caravilla". Qui passò l'ultima parte della sua vita fin dal maggio del 1563 e qui scrisse la famosa versione dal latino dell'Eneide. Annibal Caro chiamò per i lavori l'architetto Nanni di Baccio Bigio che per molti anni seguì le varie realizzazioni.
Dagli eredi di Annibal Caro nel 1579 l'acquistò la famiglia Cenci che la cedette successivamente al Cardinale Tolomeo Galli di Como, Vescovo di Frascati, che nel 1606 la passò al Cardinale Scipione Borghese che cercava a Frascati una villa degna di ospitare il nuovo pontefice, lo zio Paolo V Borghese e che non sfigurasse rispetto alla "Belvedere" degli Aldobrandini. I Borghese impegnarono per l'esecuzione di lavori d'ampliamento l'architetto Flaminio Ponzo.
Successivamente per 34.000 scudi la villa venne acquistata dal Duca di Gallese, Giovanni Angelo Altemps che la diede al Cardinale Ludovico Ludovisi nipote del Papa Gregorio XV. Il Papa Ludovisi predilesse questa villa dove passava molto del suo tempo libero. La famiglia Ludovisi chiamò Carlo Maderno, il più importante architetto del tempo, per lavori di adattamento ed ampliamento del nucleo edilizio più antico; nel 1622 tutti i reperti antichi presenti nella villa, circa 50 pezzi, furono trasferiti alla Villa Ludovisi di Roma, poi divenuto museo romano.
Nel 1661 la villa venne acquistata da Pompeo Colonna, poi finì per eredità a Lucrezia Colonna che la donò nel 1680 a Giuseppe Lotario Conti. La famiglia Conti vendette la villa alla famiglia Cesarini-Sforza che nel 1841 passò alla famiglia Torlonia. Tutti questi personaggi e famiglie hanno nel tempo profuso ricchezze per realizzarvi opere di straordinaria bellezza che il sito meritava e che ancora oggi sono fruibili.
Nel bombardamento di Frascati dell'8 settembre 1943 il fabbricato della villa subì ingenti danni tanto che fu completamente demolito e venne ricostruito un edificio residenziale, mentre il parco divenne pubblico in seguito ad una permuta nel 1954, tra il Comune di Frascati ed il Duca Andrea Torlonia, del Parco della villa in cambio della Tenuta Quadrato.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
