Il Museo è ospitato all'interno della Rocca Ubaldinesca, le cui raccolte d'arte annoverano dipinti, sculture e mobilio che vanno dal XIV al XIX secolo. Di particolare interesse una pala d'altare, ricondotta alla mano dell'enigmatico Evangelista da Pian di Meleto, raffigurante la Madonna col Bambino ed i Santi Sebastiano, Rocco e Nicolò realizzata nel primo ventennio del '500; numerosi dipinti barocceschi, opere settecentesche d'ambito romano e bolognese, sino ad arrivare al XIX secolo con vari disegni e dipinti di Enrico Mancini (1867-1913).
La rocca fu costruita intorno al 1475 su progetto di Francesco di Giorgio Martini, nei primi anni del suo servizio come architetto ed ingegnere militare del duca Federico da Montefeltro. La fortezza appartenne comunque a Ottaviano Ubaldini fratello (Germano) del Duca. La fortificazione fu costruita su preesistenze, tra cui un torrione che fu conservato e inserito nella facciata del cortile d'onore. La pianta, organizzata intorno ad un piccolo cortile interno, si distingue per la forma a tartaruga. Questo palese zoomorfismo si ricollega alle ricerche di Francesco di Giorgio circa l'antropomorfismo nell'architettura. La forma ottenuta è il complesso risultato dell'intersezione di forme convesse e si distacca sia dalle contemporanee fortificazioni della fase di transizione, caratterizzate da forme quadrangolari e torrioni circolari, sia delle successive fortificazioni alla moderna, con bastioni angolati.
All'interno un piccolo teatro ricavato in una delle sale più ampie della fortezza. Divenuto pubblico nel 1860, decorato sul finire del XIX secolo da Enrico Mancini.