Il castello fu fondato nel 1201. Nel 1531 il feudo di Fiumefreddo venne donato da Carlo V d'Asburgo al marchese Hernando de Alarcón. Questi fece rimodernare il castello per uso residenziale secondo il gusto tardorinascimentale dell'epoca: a questa fase di interventi risale il portale d'ingresso michelangiolesco.
Nel 1806-1807 il castello subì un duro assedio dalle truppe napoleoniche, analogamente ai vicini paesi di Belmonte Calabro (assedio di Belmonte del 1806-1807) ed Amantea (assedio di Amantea del 1806-1807). In quella occasione fu quasi completamente distrutto. Fiumefreddo, difesa dal vice-preside della provincia di Calabria Citra Giovanni Battista De Micheli, si arrese il 12 febbraio 1807.
Ad oggi, l'unica parte del castello interamente recuperabile (ed in parte già accessibile) sono i sotterranei.
Dichiarato “Monumento Contro Tutte le Guerre”, con delibera comunale del 26 novembre 2006, nonostante il restauro le cannonate del generale Renyer sono ancora ben visibili.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.