Nel registro sublacense risulta menzionato in un documento del 1064: il nucleo originario, probabilmente, è stato edificato dagli Ottaviani, ramo dei Crescenzi: era a pianta quadrata e vasto circa un ettaro. Nel 1250 i vecchi conti proprietari del castello lo cedono a Luca Savelli, nipote di Papa Onorio III, da cui il castello prende parte del nome. Dopo questo passaggio di proprietà, tra il Duecento ed il Trecento vi si praticano numerosi rimaneggiamenti e ampliamenti, in particolare attorno alla torre di guardia medievale, mentre il camminamento del Muro del Soccorso, un camminamento fortificato, subirà drastiche modifiche nella seconda metà del Quattrocento.

Con ben 132 ambienti su un'area di 10.000 metri quadrati, si tratterebbe del castello più grande del Lazio. Malgrado i ripetuti ed estesi ampliamenti praticati nel corso dei secoli, comunque soprattutto fra il Duecento e il Trecento, il castello mantiene ancora oggi l'aspetto medievale poiché sono state sempre impiegate le stesse tecniche edili, nonché gli stessi materiali. La struttura del castello appare molto complessa e ricca di edifici annessi, il tutto dominato dall'alta torre di guardia in muratura con coronamento a caditoie.

Gli affreschi visibili tuttora nelle sale interne sono quelli riconducibili alla volontà di Troilo Savelli e sono opera di Baldassarre Peruzzi, suo conoscente. Fra le varie pitture del castello si ricordano quelle nello studio, dove vi è una serie di ritratti di eroi romani, tra cui Attilio Regolo, con ogni ritratto segnato da frasi di elogio del personaggio ritratto e separati da teste di buoi marroni su sfondo verde. Sempre nello studio, il soffitto è decorato da affreschi grotteschi costituiti da disegni di putti che sovente si trasformano in foglie di acanto. In un piccolo studiolo separato vi sono delle allegorie delle arti liberali: astronomia, musica, retorica, aritmetica, geometria e dialettica.