Da alcuni anni aperto al pubblico dai Marchesi Castiglioni, l'antico Palazzo, è un esempio di Casa-Museo, dove sono conservati gli arredi e gli oggetti personali di Francesco Saverio Castiglioni , nato a Cingoli nel 1761 e passato alla storia come papa Pio VIII. Il palazzo, eretto alla fine del 1760, è costituito da due precedenti dimore le cui strutture originarie, per quanto unite, restano distinte formando due unità abitative con due portoni d'ingresso gemelli.

L'interno è articolato con falsi piani, scale, dislivelli, cortili. Di particolare interesse il Ritratto di Pio VIII, realizzato a figura intera da Vincenzo Camuccini (1771/1844); il busto di marmo del pontefice; una Portantina del ' 600; la Cappella, dove si conservano suppellettili sacre ed arredi liturgici; il Salone della Musica il cui soffitto, unico esempio nelle Marche, è formato da nove cupole ottagonali, tutte finemente decorate a grottesche, così realizzate per consentire un'acustica perfetta; la Camera del Papa; la Biblioteca.