Edificato alla fine del XVII secolo dai conti Antonelli sui ruderi di una villa romana risalente al 250 a.C. - 220 a.C.e sui resti di un monastero francescano del XII secolo, il castello venne trasformato nel 1750 dal cardinale Niccolò Maria Antonelli nel "Palazzo delle 100 finestre", la cui forma rimane ancora oggi.
Dopo la morte di Nicola avvenuta nel 1767, il nipote Leonardo Antonelli, anch'esso cardinale, adibì il palazzo a propria residenza estiva. Il cardinale segretario di Stato Giacomo Antonelli usò in seguito la residenza come centro di incontro per le delegazioni di tutta Europa, che venne poi ereditata dalla nipote Laurentina Castracani degli Antelminelli, sposa del conte Augusto Augusti.
Negli anni novanta uno dei discendenti di questo matrimonio, Giovanni Martines Augusti, ha impostato nel palazzo un centro studi destinato all'arte, alla letteratura e alla cultura.
Il palazzo, comprese le cantine e la piccola chiesa dedicata a San Francesco d'Assisi e Santa Timotea, è visitabile dietro prenotazione.
