Il Castello Aragonese, edificato nel XV secolo, sorge sul promontorio denominato "La Pizzuta", che cade a strapiombo sul mare, da cui domina l'articolata e suggestiva costa adriatica. Nel corso dei secoli, fu sottoposto a varie modifiche e ristrutturazioni. Originariamente il maniero aveva una pianta trapezoidale, non esattamente regolare, con torrioni cilindrici, altamente scarpati, agli angoli, secondo lo schema aragonese diffuso in tutto il mezzogiorno.
Alcuni ipotizzano che la costruzione sia molto più antica di quella ritenuta sinora visto alcuni stili della fortezza in stile angioino. Secondo le stesse ipotesi Giacomo Caldora avrebbe potuto potenziare il castello che sarebbe potuto essere preesistente. Nel XV secolo vi sono stati alcuni adattamenti e ricostruzioni parziali di un impianto preesistente.
L'unico ingresso al castello, ad arco a tutto sesto e del tutto privo di elementi decorativi, è posto a circa metà altezza della torre sud-ovest. Il lato occidentale è alquanto bombato, mentre il lato orientale è affacciato sul porto. La muraglia è costituita da pietre squadrate irregolarmente, ciottoli e mattoni. Durante l'ultimo conflitto mondiale, il maniero ha subito pesanti bombardamenti e, nel 1946, a causa di una frana, ha perso buona parte delle mura di nord-ovest. Delle quattro torri originarie, oggi ne restano solo tre.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.