Fortificato intorno al 1100, notevolmente rimaneggiato nel secolo XVI, ad opera dei Tapparelli, si presenta con un impianto a corte aperta difeso, ai lati, da poderose torri quadrate. All'interno delle maniche di est e ovest è possibile ammirare un ciclo pittorico rinascimentale.

Grazie agli scavi archeologici sono state riportate alla luce le tracce della manica quattrocentesca che chiudeva il nucleo formando una corte interna, i muri medioevali, i segni dei ponti levatoi e i fossati. Nel 1700 parte di questi ultimi vennero trasformati in peschiere. Tra il 1569 e il 1572 la dimora medioevale si trasformò in una residenza rinascimentale, grazie alla committenza di Benedetto I Tapparelli, uomo colto e raffinato, giudice in Saluzzo durante il regno di Francesco I re di Francia.

Oggi i castelli sono conosciuti come il castello di Levante, di Mezzo e di Ponente semplicemente per la loro ubicazione sul luogo. Intorno al 1469-1471, durante la guerra tra la Francia e il marchesato di Saluzzo, il castello di Levante ospitò la corte di Jolanda di Francia e Amedeo IX di Savoia, nel tentativo di salvare le terre sabaude in Piemonte dalla dominazione francese. Nel 1560 il castello ospitò la corte di Emanuele Filiberto di Savoia e Margherita di Valois in viaggio da Savona a Vercelli, attraverso il ducato sabaudo appena riconquistato in seguito al trattato da Cateau-Chambrésis. A ricordo di questi avvenimenti rimangono il salone degli scudi, arricchito da una cospicua raccolta araldica, e la loggetta delle magiche grottesche, frutto della fantasia di Pietro Dolce, artefice di creature immaginarie, mostruose, fauna di quel mondo figurativo e delirante della tipica pittura nordica del Bosch.