I lavori per la costruzione del castello terminarono nel 1552: il fortilizio fu voluto dall'Imperatore Carlo V nell'ottica del sistema di fortificazioni costiere pugliesi. Fu edificato su di un piccolo promontorio (detto Punta Pinna), utilizzando come nucleo centrale la chiesa di "S.Nicola in Pinna" del X secolo e una grande porta romana del I secolo a.C. (fortificata da due corpi di guardia laterali a due piani), a sua volta innalzata sulle mura messapiche del V secolo a.C.

La semplice pianta del castello è arricchita da bastioni pentagonali che si innalzano ai cinque vertici. Il ponte levatoio (e dunque l'entrata primaria) si doveva trovare a sud-ovest dove si innalza una torre cilindrica edificata in seguito raggiungibile tramite una piccola rampa.

A sinistra della torre è visibile ancora una parte ben conservata delle antiche mura. Ben disposte le numerose cannoniere distribuite dalle coperture fino al pelo d'acqua, all'esterno e all'interno del porto. Suggestiva la grande "sala d'armi". Sotto la loggia è presente lo stemma in pietra caricato della data 1552, e dal nome del viceré Don Pedro di Toledo, realizzatore materiale dell'edificio.