All'inizio del XX secolo il soprintendente Riccardo Ricci puntò a realizzare una raccolta di opere d'arte della città. Scelse opere che non si trovavano più nei loro luoghi di origine o perché gli edifici che li avevano ospitati erano pericolanti o perché soppressi tra la fine del Settecento e i primi dell'Ottocento. Già nel corso del XIX secolo nel Palazzo dei Priori si era già formata una discreta collezione; così come nella cappella di San Carlo, nel duomo cittadino, erano stati ricoverati un buon numero di opere provenienti da molte chiese.

La Pinacoteca ospita molte opere di pregio fra cui la Deposizione della Croce di Rosso Fiorentino, Annunciazione (1491) e Vergine in trono e santi (1491) di Luca Signorelli, Madonna della Rosa, Madonna in trono con Bambino e santi e Santi Nicola da Tolentino e Piero di Taddeo di Bartolo, Cristo in gloria con quattro santi e un donatore di Domenico Ghirlandaio, San Sebastiano fra Santi Bartolomeo e Nicola di Neri di Bicci e molti altri.