Il museo nazionale, inaugurato nel 1893, sorge tra le rovine del castello matildico in un fabbricato adiacente le vecchie mura castellane.

Il materiale iniziale è stato riunito da Naborre Campanini, cui è intitolata l’istituzione. Raccoglie testimonianze rinvenute durante gli scavi effettuati nella seconda metà del XIX secolo. Una parte del materiale proviene dalla vicina chiesa di Sant’Apollonio, parzialmente demolita da una frana nel XIV secolo. Sono esposte documentazioni sulle vicende del castello, frammenti architettonici, capitelli romanici, frammenti epigrafici, materiali lapidei e laterizi, ceramiche, una vasca battesimale e cimeli matildica.

Il reperto più significativo è costituito dal fonte battesimale romanico che è conservato nel salone centrale. Il manufatto, ricavato da un monolite d’arenaria, è riccamente ornato da intrecci, raffigurazioni simboliche, fasce ed altri elementi tipici del repertorio scultoreo medievale. Si presuppone che questo fonte battesimale appartenesse all’antica badia di Sant’Apollonio.