Fu costruito sulla punta rocciosa che domina il paese. A levante l’ampia vallata del torrente Gavitello, a oriente la rupe scoscesa il cui dislivello supera i cento metri e a occidente la vallata del torrente Fontana.

Situato in un luogo la cui posizione facilita l’osservazione e la difesa, esso ha avuto per molti secoli la funzione di una fortezza di grande importanza strategica e militare, più che essere stabile dimora nobiliare. Il castello oggi presenta una forma del tutto diversa dall’originale, quella cioè di un trapezio irregolare con tre torri agli angoli. Ma anticamente, come ci riferisce il Bracca, doveva avere la forma triangolare. Tutta la costruzione è costituita da pietre calcaree prese nelle contrade circostanti e legate tra di loro secondo un intreccio irregolare, come avviene del resto in tanti altri castelli della Puglia. Le volte e gli archi interni sono costruiti in mattoni color ocra o giallo, anch’essi provenienti da fornaci locali. E’ privo purtroppo di elementi decorativi ed architettonici caratteristici. La cortina N.E., che misura 55 metri di lunghezza, è incastrata tra le torri tronco-coniche del “Molo” e del “Parasinno”, entrambe costruite durante la dominazione angioina, come si evince dalle caratteristiche e dal tipo di costruzione. La cortina Est, che edificata a filo di roccia sul precipizio de “la Ripa”, strapiomba sul sottostante torrente Fontana, ha una lunghezza di 66 metri. E’ costruita a forma di scarpata, ed inizia dalla suddetta torre “Parasinno” per arrivare fino all’estremità occidentale terminante a spigolo.