In epoca romana la collina era occupata da un complesso residenziale, forse la "villa di Cesare" (Tacito afferma che la villa di Cesare si trovava su di un'altura dominante il golfo di Baia), i cui resti furono distrutti e talora inglobati nell'attuale fortezza. Strutture superstiti della villa sono visibili intorno ad essa lungo la costa e a terra presso il campo sportivo, mentre altre sono state individuate recentemente e messe in luce nel corso dei lavori di restauro delle parti più alte del castello (torre Cavaliere) e più in basso lungo le sue scarpate a mare, a seguito del loro diserbo.
La costruzione del castello fu avviata dagli Aragonesi, insieme a numerose altre fortificazioni nel Regno di Napoli, nel 1495, poco prima dell'invasione dei francesi di re Carlo VIII. Per la progettazione del sistema difensivo e delle singole fortezze, il re Alfonso II d'Aragona si servì della consulenza di Francesco di Giorgio Martini, architetto senese, rinomato per le nuove tecniche e le soluzioni da lui applicate a difese militari. Non restano oggi tracce dell'originaria architettura del castello.
Dopo l'eruzione del Monte Nuovo, nel generale programma di difesa delle coste dalle incursioni saracene e turche, il viceré spagnolo Pedro Álvarez de Toledo avviò una radicale ristrutturazione e ampliamento del castello (1538-1550), in seguito alle quali esso assunse il suo aspetto attuale, a forma di stella.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
