Il museo è ospitato in una villa di impianto medievale, ristrutturata profondamente nel Cinquecento e di nuovo nei secoli seguenti, fino a ottenere l'attuale aspetto neoclassico. Dal 1988 vi si sono trasferiti i musei civici di Recanati, già nel palazzo Comunale, con raccolte che spaziano dalla preistoria alla contemporaneità.

La sezione archeologica mostra i reperti di un insediamento neolitico, scomparso durante l'età del ferro.

Notevole è la pinacoteca, che raccoglie opere provenienti dal territorio. La sezione medievale che documenta la vita della città nel periodo di massimo splendore comprende, tra l'altro, opere di Ludovico di Magno da Siena (not. 1395), Pietro di Domenico da Montepulciano (att. XV secolo) e Vincenzo Pagani (1490-1568). Spicca la sezione rinascimentale che raggruppa significative opere di Lorenzo Lotto, create durante i suoi soggiorni in città: la famosa Annunciazione, il Polittico di Recanati, formato da sei scomparti, la Trasfigurazione e un San Giacomo Maggiore Una sezione è dedicata al Seicento e Settecento e uno spazio per le esposizioni temporanee artistico-culturali è situato al piano terra.