Circa la costruzione e gli adattamenti del Palazzo bisogna riferirsi a varie vicissitudini e a varie epoche. Alcuni elementi architettonici visibili nei vasti locali seminterrati a ridosso delle mura ciclopiche fanno riferimento a periodi medioevali riconducibili al 1200/1300. Certa è la documentazione circa l’insediamento nella parte del Vicolo Raonio della Scuola Umanistica Ferentinate detta Filetica, costituita a seguito del cospicuo lascito che Martino Filetico (1430-1490) fece a favore dei fanciulli poveri di Ferentino, affinché seguissero gratuitamente gli studi.

Numerosissime sono le suggestioni per i visitatori: le mura ciclopiche su cui poggia la facciata sud-est, le cripte mortuarie, le stratificazioni architettoniche, i ricercati arredi, i decori pompeiani, il cortile, la cappella, la ricca biblioteca, l’archivio, i magnifici affreschi, le collezioni e le raccolte epigrafiche tanto apprezzate da eruditi e studiosi ottocenteschi come Mommsen o Ashby, i cicli pittorici, i simboli, gli enigmi.