Fu una delle fortificazioni più importanti del mantovano, con quattro torri angolari e si ergeva sul colle dominante l'abitato.
Il castello subì diverse incursioni nel XIV secolo ad opera dei Visconti di Milano. La struttura venne ampliata da Francesco I Gonzaga che vi soggiornò a lungo anche per sottrarsi alla peste e qui morì nel 1407. Il marchese Ludovico Gonzaga incaricò l'architetto Giovanni da Padova di consolidare la struttura difensiva e ne fece una residenza importante. Tra gli architetti che abbellirono la residenza vi furono Andrea Mantegna e Luca Fancelli, che, vista la mitezza del clima, acquistò in zona alcuni terreni. Anche Isabella d'Este soggiornò nel castello per molto tempo, durante le assenze da Mantova del marito, il marchese Francesco II Gonzaga. Altri due esponenti della famiglia Gonzaga occuparono il castello e vi trovarono morte: Eleonora de' Medici, moglie di Vincenzo I Gonzaga, il 9 settembre 1611 e Carlo Gonzaga, secondogenito dell'VIII duca di Mantova Carlo I, che qui morì il 14 agosto 1631.
Agli inizi del Seicento la struttura fu parzialmente demolita. Intorno al 1770, sotto la dominazione austriaca, il castello fu quasi totalmente abbattuto e il materiale venne utilizzato per l'edificazione di Villa Mirra.
A oggi del castello, parzialmente restaurato e consolidato nel 2004, rimangono parte della cinta muraria e la torre, trasformata in torre campanaria.
