Il castello era stato edificato su un banco roccioso situato in prossimità di un'antica lama che, scendendo verso l'ansa portuale, lambiva il più antico nucleo urbano della città di Bisceglie. La testimonianza più antica della struttura militare è data dalla torre normanna, detta torre “maestra”, edificata nel predetto sito nell'XI secolo.
A partire dal XVIII la struttura difensiva, realizzata in pietra calcare locale, si sviluppava su pianta quadrangolare, a cortile interno, fortificata da quattro torri quadre disposte agli angoli, fra cui vi era la imponente torre maestra, ed una torre disposta sulla cortina difensiva di ponente in corrispondenza dell'ingresso, detta torre delle gabelle.
Il lato esterno di ponente e quello settentrionale erano circondati da un fossato, che isolava il fortilizio dalla città intra moenia. L'ingresso nel castello era consentito attraverso un ponte levatoio disposto fra la torre delle gabelle e la torre maestra. Le torri ed il muro di cinta esterno in origine erano percorsi da camminamenti, rintracciabili nella presenza di alcune mensole in pietra sopravvissute nel tempo.
Nel cortile si sviluppava su due livelli il palatium, l'antica dimora del castellano, di cui sono ancora visibili la porta di accesso ed i resti di una finestra bifora con arco a sesto acuto posta al piano nobile. Il castello ingloba nell'angolo nord-est la piccola chiesa di San Giovanni, caratterizzata da una semplice facciata a capanna, a paramento liscio con un portale lunato, sovrastato da una finestra monofora. Le falde del tetto, incorniciate da archetti rampanti, terminano in un campanile a vela.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
