Il castello fu fatto costruire da Pier Maria II de' Rossi fra il 1448 e il 1460, sulle rovine di una precedente casaforte del 1259, di cui rimane una sezione del portico nel lato ovest del cortile interno.

I Rossi erano fortemente legati alla corte milanese dei Visconti. Per questo motivo, Pier Maria venne mandato a Milano per ricevere una formazione culturale e militare: oltre agli studi letterari, si interessò alla musica, alla matematica, all'astrologia e imparò il francese, lo spagnolo, il latino, il greco, l'arabo e l'ebraico. Si dedicò con grande successo al mestiere delle armi, a tal punto che, diventato capitano di ventura dei Visconti, riuscì a conquistare innumerevoli territori.

A soli 15 anni fu obbligato a sposare Antonia Torelli, figlia dei Signori di Montechiarugolo, per legare le due famiglie confinanti e istituire così un accordo di non belligeranza. Tuttavia a Milano si innamorò perdutamente di Bianca Pellegrini, una dama di corte della duchessa Visconti.

Dopo diversi anni di matrimonio e dopo aver avuto dieci figli da Antonia Torelli, quest'ultima si ritirò nel convento di San Paolo a Parma, lasciando la possibilità a Pier Maria di avvicinare Bianca a San Secondo, precisamente a Roccabianca, dove lo stesso cavaliere le fece costruire un castello. Inoltre nel 1448 edificò per l'amata anche il castello di Torrechiara.

Alla morte di Pier Maria II de' Rossi il castello ebbe diversi proprietari: Pietro di Rohan, Pallavicino, Sforza di Santa Fiora, Sforza Cesarini, Torlonia, Cacciaguerra. Dal 1911 il castello di Torrechiara è un monumento nazionale tutelato dal Ministero per i Beni e le Attività Culturali ed è aperto al pubblico.