Il castello fu originariamente costruito nell'XI secolo. Nel 1377, Federico II, marchese di Saluzzo ordinò che fosse demolito e ricostruito più grande e più pesantemente fortificato. I suoi successori continuarono a migliorarlo come fortezza principale del Marchesato di Saluzzo. Nel 1529, Giovanni Ludovico, marchese di Saluzzo, fu imprigionato nel castello.
Nel 1600 la facciata del castello fu ristrutturata, cambiandone l'aspetto da fortezza militare a palazzo di lusso, e da allora è stata utilizzata come residenza estiva, anche da Carlo Emanuele I, duca di Savoia, e Giambattista Bodoni.
Agli inizi del XX secolo la linea familiare dei conti di Verzuolo si estinse e il castello passò ad Amedeo Mola di Larissé. Cadde in abbandono; il 18 giugno 1916 crollò una delle due torri rettangolari, distruggendo gran parte degli archivi del castello, compresi importanti documenti sulla storia del Piemonte. La torre rettangolare rimasta fu demolita nel 1938 insieme alla torre del Belvedere.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
