Allo scopo di difendere la costa dalle frequenti incursioni dei pirati, contestualmente alla riedificazione della città e a ridosso delle sue mura, Carlo I d'Angiò ordinò nel 1277 la costruzione di un palacium, affidando la direzione dei lavori ai celebri regi carpentieri Pierre d'Angicourt e Jean da Toul. I lavori terminarono due anni dopo. Tra il XV e il XVI secolo l'edificio seguì le sorti della città e passò attraverso le mani di diversi feudatari, resistendo a numerosi attacchi senza essere mai espugnato. Tuttavia i notevoli danni subiti con l'assedio veneziano del 1508 ne imposero un radicale restauro, avvenuto pochi anni più tardi: con esso fu data all'edificio l'attuale forma di poligono stellato.
Le possenti mura a scarpata, costruite allo scopo di resistere a un attacco con armi da fuoco, furono comunque dotate di numerose caditoie. Un fossato comunicante con il mare circondava l'edificio, che era collegato alle mura della città per mezzo di un ponte.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
