La struttura del castello è frutto di aggregazioni posteriori all'impianto originario del XII secolo. L'edificio, trasformato nel tempo in dimora signorile, iniziò ad assumere la fisionomia attuale solo all'inizio del Quattrocento grazie all'opera della famiglia Saluzzo della Manta, originata da Valerano, figlio illegittimo del marchese Tommaso III di Saluzzo. Con l'estinzione di questo ramo del casato, alla fine del XVIII secolo, fu abbandonato e cadde in rovina. Dopo la donazione al FAI, nel 1984, sono stati avviati i lavori di recupero e restauro che hanno riportato il complesso alla sua condizione originaria.

La sala baronale conserva il più importante ciclo pittorico conservato nel castello. Questo è infatti arricchito da un'importante sequenza di affreschi che ne decora perimetralmente le pareti, capolavoro e rara testimonianza della pittura profana tardogotica attuata nell'Italia settentrionale. L'opera è attribuita all'anonimo pittore Maestro del Castello della Manta.

Il ciclo, completato poco dopo il 1420, rappresenta una serie di eroi ed eroine (presumibilmente i ritratti dei marchesi e marchese di Saluzzo), qui illustrati secondo la tradizione iconografica classica, ebraica e cristiana ed effigiati con preziosi abiti del tempo, e la cosiddetta Fontana di giovinezza, tema questo ripreso dall'antica tradizione dei romanzi francesi medievali. I suddetti personaggi sono ispirati ad un poema scritto da Tommaso III di Saluzzo, le Chevalier Errant e sono in ordine: Ettore, Alessandro Magno, Giulio Cesare, Giosuè, Davide, Giuda Maccabeo, Re Artù, Carlo Magno, Goffredo di Buglione, Delfile, Sinope, Ippolita, Semiramide, Etiope, Lampeto, Tamiri, Teuca, Pentesilea (tutti ancora ben visibili, tranne l'ultima eroina, rimasta mutilata dal crollo dell'intonaco).

Un'importante testimonianza dell'arte manierista del Cinquecento è invece data dalla Sala delle grottesche, parte dell'appartamento di rappresentanza voluto intorno al 1560 da Michele Antonio della Manta: presenta un soffitto finemente dipinto e decorato con stucchi, grottesche, antiche rovine, architetture rinascimentali frutto della cultura tipica dell'Italia centrale del tempo.

Annessa al castello è visitabile la chiesa castellana, nel cui interno sono custoditi due locali di particolare pregio, anch'essi riconducibili ai due momenti più significativi della decorazione pittorica che caratterizza l'intero maniero. Interessanti affreschi sulla vita di Gesù Cristo, risalenti allo stesso periodo della realizzazione della sala baronale del castello, corredano l'abside della chiesa, mentre la cappella funeraria di Michelantonio mostra una ricca decorazione a stucco e pitture anch'esse di gusto manieristico.