Aperto inizialmente nel 1974 come mostra temporanea dal titolo Tesori d’arte nella terra dei Gonzaga, è stato inaugurato come museo permanente nel 1983 ed allestito nell'antico monastero agostiniano di Sant'Agnese. È dedicato al frate francescano Francesco Gonzaga, vescovo della diocesi (1593 - 1620).

Il nucleo iniziale delle opere è rappresentato dai Tesori della Cattedrale e della Basilica Palatina di Santa Barbara, successivamente vi sono confluite opere dalle Chiese della Diocesi.  Gli incrementi  proseguono tutt'ora  grazie a donazioni. Con il recente restauro il museo ha curato un nuovo allestimento oltre al recupero della facciata neoclassica. Inoltre, la pinacoteca ospita la più importante raccolta delle opere di Giuseppe Bazzani (attivo nella prima metà del XVIII secolo), che consente di ripercorrere il suo itinerario artistico.