Le sue origini non sono ancora state chiarite: la sua costruzione viene solitamente attribuita ai Bizantini intorno al 937 sulle rovine di un'antica rocca, per difendersi dalle continue incursioni saracene. Durante l'anno mille fu occupato dagli arabi divenendo dimora del califfo Saati Cayti. Dopo la cacciata degli arabi dalla città, Ruggero II di Sicilia nel 1132, ne rinforzò le fondamenta e le mura, facendo del castello una vera e propria roccaforte normanna.
Nel 1184 come molti altri monumenti storici della città, fu gravemente danneggiato da un terremoto, fino alla sua completa ristrutturazione durante il XIII secolo da parte di Federico II di Svevia (da qui la sua denominazione ufficiale: normanno-svevo).
Durante il conflitto angioino-aragonese fu adibito a zecca per la realizzazione di monete, e venne successivamente trasformato in residenza principesca per Luigi III d'Angiò e la consorte Margherita di Savoia, venuti a governare la provincia calabrese.
Nel 1459 vi dimorò Re Alfonso II di Napoli, fino a quando gli spagnoli, nel XVI secolo, non gli restituirono la sua funzione bellica, rappresentando per tutto il 1500 il fortilizio militare più importante della Calabria settentrionale. La sua storia si perde per tutto il 1600, ed essendo nuovamente danneggiato da numerosi terremoti cadde completamente in rovina.
Fu ripreso dai Borboni che lo adibirono a carcere, e dopo l'unità d'Italia passò finalmente al comune di Cosenza che lo acquistò in un'asta pubblica. Dopo i restauri degli ultimi anni il Castello presenta ben conservati: la torre ottagonale di epoca sveva, gli stemmi di età angioina incisi sugli archi svevi a costoloni, che si immettono nel corridoio detto "dei fiordalisi", lo scudo aragonese, le segrete e il cortile interno. Un ultimo intervento di restauro sulla struttura iniziato nel 2008 si è concluso nel 2015 rendendo la struttura nuovamente visitabile.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.