Non si hanno precise indicazioni sulla data di costruzione del primitivo Castello degli Anguillara, ma si può indicare con sufficiente sicurezza che esistesse già nel 1200. La magnificenza di questo Palazzo, fa capire quanto grande fosse la potenza di quest'antica Casata degli Anguillara. In più parti di questo magnifico fortilizio vi sono scolpite negli stemmi di marmo bianco le caratteristiche bisce incrociate. L'ingresso è nella Piazza della Collegiata e vi si accede per due larghe cordonate, alle cui basi emergono due grossi monconi di antiche colonne di granito egiziano. Si entra per un portone con arco di marmo e stemma della casata, avente un monogramma alla base.
Il portone conduce in un ampio cortile interno, con un artistico pozzo di travertino, posto ad un lato con gli stemmi degli Anguillara e di Casa Strozzi. Com'è ormai consuetudine per le opere artistiche di Faleria, il suddetto pozzo è stato recentissimamente rubato. Le carceri erano poste nell'ala destra del Palazzo, nel piano terra.
Nella parte rinascimentale del Castello, che si distingue nettamente da tutte le altre parti architettoniche, vi sono tre logge elegantemente in peperino, che si affacciano maestose e solenni sulla piazza della Chiesa. Questa parte del Castello è stilisticamente perfetta di tutto il complesso fabbricato, essa è caratterizzata da un'eleganza sobria ed insieme preziosa; la sua struttura ha un nitido rigore di austera monumentalità, le logge del piano nobile evidenziano la sobria compostezza della massa architettonica che raggiunge un perfetto equilibrio tra larghezza ed altezza sulla facciata dell'edificio. Nel 1330 tutto il castello era completamente merlato, molto più basso di quello attuale e possedeva quattro torrioni rotondi; successive trasformazioni gli hanno tolto progressivamente l'arcigno carattere di fortezza.
