Edificato alla fine del XVII secolo dai conti Antonelli sui ruderi di una villa romana risalente al 250 a.C. - 220 a.C.e sui resti di un monastero francescano del XII secolo, il castello venne trasformato nel 1750 dal cardinale Niccolò Maria Antonelli nel "Palazzo delle 100 finestre", la cui forma rimane ancora oggi.
Dopo la morte di Nicola avvenuta nel 1767, il nipote Leonardo Antonelli, anch'esso cardinale, adibì il palazzo a propria residenza estiva. Il cardinale segretario di Stato Giacomo Antonelli usò in seguito la residenza come centro di incontro per le delegazioni di tutta Europa, che venne poi ereditata dalla nipote Laurentina Castracani degli Antelminelli, sposa del conte Augusto Augusti.
La Casa Museo custodisce una significativa raccolta di memorabilia appartenenti a eminenti personalità del panorama nazionale e internazionale, tra cui Gabriele D'Annunzio, Ernest Hemingway, Grace Kelly, Luigi Pirandello e Francesco Baracca, oltre a numerose altre figure di alto rilievo storico e culturale.
