Il sito su cui sorge il castello è da identificare con il luogo, sul colle di san Flaviano, in cui Federico II di Svevia, in lotta con Tommaso Conte di Celano e Molise, fece costruire delle fortificazioni durante l'assedio del 1223. Tali fortificazioni erano quasi certamente soltanto opere in legno e terra battuta, tuttavia segnarono l'inizio di quello che sarebbe stato una solida fortificazione in posizione dominante sul lago del Fucino nei secoli successivi

A seguito del restauro che è stato realizzato ricostruendo fedelmente l'antica struttura, grazie all'abbondante repertorio fotografico, il castello assume l'aspetto della fortezza medievale con funzione difensiva dell'abitato di Celano, come testimonia il rivelino del lato sud-est, che nei secoli successivi è stata modificata a residenza signorile rinascimentale. La cinta muraria è interrotta da undici torri a scudo e cinque rotonde. All'interno tramite un ponte levatoio che consente di superare un fossato, si accede al Castello attraverso due ingressi, uno dei quali protetto da una caditoia.

L'edificio centrale ha pianta regolare, rettangolare con quattro torri quadrate agli angoli, con merlatura ghibellina, che proteggono un cortile con pozzo nel mezzo, una volta architravato, per la raccolta delle acque piovane. All'esterno delle quattro torri un giro di ronda anch'esso merlato consentiva alle guardie il controllo di ogni lato delle mura. Tuttavia la esigua sporgenza delle torri dal profilo dell'edificio, che non consente un adeguato tiro di fiancheggiamento, lascia intendere che, con l'Acclozamora, l'antica funzione difensiva della fortezza, si è affievolita rispetto a quella di prestigiosa dimora signorile.

Il perimetro del cortile risulta impreziosito da un porticato di carattere tipicamente rinascimentale su due piani, di cui quello inferiore con archi a ogiva sorretto da ampi pilastri colonniformi, e quello superiore con doppio numero di archi a tutto sesto con colonne più piccole.

Il castello ospita inoltre una sezione archeologica dedicata alla Collezione Torlonia, composta da reperti rinvenuti durante il prosciugamento del lago Fucino.