Il Castello, probabilmente di fondazione normanna, sorge a ridosso del centro storico del paese, su un promontorio che domina l'intera fascia costiera. Si distingue per la peculiare conformazione a triangolo, assunta nel corso del XVI secolo, e la presenza di fortificazioni ai vertici: la torre quadrata, la torre tonda e infine la torre lanceolata, anche detta “a mandorla”. Quest'ultimo torrione fu probabilmente progettato su influenza del famoso architetto militare Francesco di Giorgio Martini, la cui presenza è attestata in Puglia proprio sul finire del XV secolo, per sopraintendere alla costruzione di alcune piazzeforti.

A partire dal XVII secolo, venuta meno l'esigenza difensiva, il Castello iniziò ad assumere i connotati di una residenza gentilizia, ad opera delle nobili famiglie che ne ebbero possesso: tra di esse, figurano i Caputo, i Serra, i Costaguti, i Castaldi, i Granafei e gli Imperiali. Gli ambienti furono adattati allo scopo mediante l'apertura di porte, finestre e balconi: ne è un esempio l'elegante balconata che domina il prospetto sud nel Castello, realizzata nel corso del XVIII secolo, utilizzando la pietra calcarea “di Carovigno”, detta “gentile”, morbida e facilmente lavorabile, il cui caratteristico colore chiaro conferisce una luce affascinante.