I fondatori di Gagliano Aterno furono i de Aquila, conti di Celano, che iniziarono anche la costruzione del castello tra il XII e XIII secolo. Nel 1328 il castello fu ampliato da Isabella d'Aquino, contessa di Celano, discendente dei de Aquila per parte materna.
Il castello è caratterizzato da una doppia cinta muraria. La cinta più interna è raggiungibile tramite un ponte levatoio sopra un fossato ancora presente. Agli angoli si trovano tre torrioni di rinforzo cilindrici ed una torre poligonale.
Oltre le mura merlate, si sviluppa il palazzo residenziale, costituito da più corpi attorno ad un cortile con un pozzo e circondato da un portico ed una loggetta al primo piano, raggiungibile tramite una scalinata a giorno.
Nella trasformazione del castello in dimora aristocratica sono state ampliate le finestre ed è stata realizzata la loggia su due ordini dal lato verso il paese, con archi acuti nel cortile e a pieno sesto al primo piano.