Le prime notizie del castello risalgono alla seconda metà del X secolo quando viene citato come terreno inerente ad una non ben identificata piccola chiesa di San Paolo (ora distrutta), che per varie storpiature dialettali, nel corso dei secoli divenne San Polo (da cui, forse il nome del paese), sita nella zona.
Dapprima fu dei Cavalieri appartenenti al Sovrano Ordine Militare di Malta, poi al monastero romano di San Paolo fuori le Mura, ma solo nel XII secolo si fa riferimento ad un Castrum Sancti Pauli. In questo periodo il castello era semplicemente una piazzaforte a ridosso di un piccolo campanile.
Il Castrum era un punto nevralgico e di snodo tra la Sabina e la Valle dell'Aniene, di fatto, in tutto l'XI secolo il castello du disputa dei feudatari di Marcellina, Montecelio, Palombara Sabina, di Tivoli e dell'Abbazia di San Paolo Fuori le Mura. Per volere del papa, nella 2ª metà del '300, il castrum fu locato agli Orsini, i quali lo comprarono nel XV secolo e lo trasformarono in una roccaforte militare.
Nel 1603 fu trasformato dai Cesi in sede dell'Accademia dei Lincei, che era fondata da Federico Cesi, che ospitò nel castello Galileo Galilei. Dopo la peste del 1656 il castello passò ai Borghese entrando a far parte dello Stato pontificio ma poi divenne autonomo con l'unità d'Italia.
Nel XVIII secolo fu venduto ad un certo Pietro Trusiani, ma rientrò come proprietà ai Borghese agli inizi del XX secolo, ma nel 1946 dal Tribunale di Roma fu messo all'asta e fu comprato dal dottor Chiappini che nel 1958 lo vendette all'architetto Luca Brasini il quale ne iniziò il restauro che fu poi completato dal giurista Andrea Berardi. Dopo innumerevoli vendite e cessioni ora è proprietà privata.
La base ha forma rettangolare al cui centro è il mastio ed ai vertici sono poste delle torri di avvistamento semicircolari con merlature nella parte superiore. Nel cortile vi è una cisterna ottagonale decorata con colonnine e stemmi degli Orsini eseguiti dalla bottega di Taddeo e Federico Zuccari. La cisterna risale al 1439 quando fu realizzata da un certo Mastro Guglielmo.
Nei saloni si possono ammirare degli affreschi rappresentanti scene mitologiche, panorami e stemmi dei Cesi dalla scuola di Federico e Taddeo Zuccari.
