Il castello fu fondato nel 1201. Nel 1531 il feudo di Fiumefreddo venne donato da Carlo V d'Asburgo al marchese Hernando de Alarcón. Questi fece rimodernare il castello per uso residenziale secondo il gusto tardorinascimentale dell'epoca: a questa fase di interventi risale il portale d'ingresso michelangiolesco.
Nel 1806-1807 il castello subì un duro assedio dalle truppe napoleoniche, analogamente ai vicini paesi di Belmonte Calabro (assedio di Belmonte del 1806-1807) ed Amantea (assedio di Amantea del 1806-1807). In quella occasione fu quasi completamente distrutto. Fiumefreddo, difesa dal vice-preside della provincia di Calabria Citra Giovanni Battista De Micheli, si arrese il 12 febbraio 1807.
Ad oggi, l'unica parte del castello interamente recuperabile (ed in parte già accessibile) sono i sotterranei.
Dichiarato “Monumento Contro Tutte le Guerre”, con delibera comunale del 26 novembre 2006, nonostante il restauro le cannonate del generale Renyer sono ancora ben visibili.