La cripta è una costruzione a pianta basilicale, suddivisa in tre piccole navate con volte a crociera. Il nucleo centrale presenta colonne e capitelli, probabilmente recuperati da edifici precedenti romani. Esternamente a questo nucleo il resto delle colonne è stato appositamente realizzato per la cripta in pietra di arenaria.

Negli ambienti contigui, vi sono resti di pavimentazione romana, qualche insediamento abitativo e tombe risalenti al VII secolo/X secolo. Più esternamente è ancora presente il muro di fondazione della prima chiesa altomedievale di Sant'Anastasio (VII secolo), resti della successiva chiesa romanica (XI secolo) ed una parte del muro perimetrale della chiesa seicentesca.

Mentre nell'area ovest del museo è presente la cripta ed i contigui resti archeologici, la zona est conserva resti lapidei di pertinenza del sito di Sant'Anastasio, a cui si aggiungono elementi dell'area cittadina tra il VII secolo e XVI secolo.