La costruzione fu iniziata nel 1233 e le opere di fortificazione furono completate nel 1249, secondo il progetto di Filippo Cinardo, conte di Acquaviva e Conversano, gran conestabile e ingegnere militare dell'imperatore, e a cura di Stefano di Romoaldo Carabarese, con fortificazioni "davanti e intorno al castello".
In questa prima fase era di forma quadrangolare, con torri quadrate agli angoli e cortile centrale. Sui tre lati verso terra venne aggiunto il muro di cinta esterno, in origine percorso da un camminamento, che creava tre ristretti cortili esterni. Un fossato, forse di origine naturale, separava il castello dalla terraferma.
A una torre del castello Federico II fece impiccare Pietro Tiepolo, figlio del doge di Venezia Jacopo Tiepolo: Pietro, podestà di Milano, fu preso prigioniero nella battaglia di Cortenova del 1237. Nel castello venne imprigionata anche la coraggiosa contessa di Caserta Siffridina, consuocera di Federico II, avendo suo figlio Riccardo de Lauro conte di Caserta sposato la figlia dell'imperatore Violante di Svevia. Per sua espressa volontà fu mantenuta a pane e acqua e morì nel marzo del 1279.
Sotto il dominio angioino, vi furono fatte aggiunte e modifiche ad opera dell'architetto militare francese Pierre d'Angicourt. Nel 1268 si tennero nel castello le nozze tra Carlo I d'Angiò e Margherita di Borgogna e nel 1271 quelle del secondogenito di Carlo, Filippo (1254-1277), con Isabelle de Villehardouin (1263-1312), principessa d'Acaia.
Passato sotto il dominio spagnolo, sotto Carlo V, nel 1533, subì notevoli trasformazioni, per adeguarlo alle nuove esigenze difensive sorte in seguito all'invenzione della polvere da sparo. L'intervento previde il rafforzamento del lato meridionale, verso la terraferma, e la realizzazione di due bastioni a partire da due delle torri angolari: quadrangolare a nord-est e "a punta di lancia" a sud-ovest.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
