Il Museo è ospitato nel Palazzo Mastai Ferretti, dove nacque Pio IX (al secolo Giovanni Maria Mastai Ferretti); i Mastai Ferretti si erano stabiliti a Senigallia nel 1557.
Al pianterreno del palazzo è collocata la biblioteca; le sale del primo piano ospitano opere d'arte, arredi sacri e oggetti appartenuti al Pontefice.
Interessante la prima sala, il Salone di Rappresentanza, dove avvenivano i ricevimenti e le cerimonie delle famiglie Mastai Ferretti e poi degli Augusti Arsilli e dei Bellegarde. È decorato da 17 tele che raccontano episodi del Vecchio Testamento, 4 sibille e un autoritratto dell'autore dei quadri, il pittore Giovanni Anastasi, nativo di Senigallia e molto noto nella sua provincia tra XVII e XVIII secolo; vi sono inoltre tre cassapanche di scuola marchigiana della stessa epoca, la cui decorazione è stata attribuita di recente a Giovanni Anastasi.
La seconda sala è denominata dell'amnistia; vi sono esposte infatti due tele con il testo dell'amnistia del 16 luglio 1846. Nei mobili d'epoca sono esposti vari oggetti usati da Pio IX, tra cui alcuni paramenti liturgici, e il soffitto decorato con stucchi è l'unico nel palazzo non danneggiato dal forte sisma del 30 ottobre 1930.
La sala dei viaggi contiene quadri che illustrano scene dei viaggi del papa, e la successiva sala del medagliere presenta una collezione di medaglie commemorative del pontificato, durato trentadue anni. Completano la sala numerose tele del 1500-1700, un crocefisso in avorio e un modellino della colonna collocata nel 1856 in Piazza di Spagna, in onore della Immacolata Concezione.
Nella stanza natale del papa sono conservati il letto a baldacchino e i vestiti usati durante i soggiorni a Senigallia, e presenta alcuni quadri con ritratti di Pio IX e della sua famiglia.
Attraverso un corridoio in cui sono esposti documenti sul pontificato, si accede alla piccola Cappella; sull'altare è il quadro della Madonna del Sassoferrato.
Nell'ultima sala sono raccolte le medaglie commemorative, le medaglie ricordo e le monete emesse dalla Zecca dello Stato Pontificio negli anni 1846 - 1878.
