Le sue origini si intersecano con la nascita dell'Accademia del disegno, che intorno alla seconda metà del XVI secolo aveva sede nel Convento degli Olivetani a Montemorcino, nella quale vennero raccolti una prima parte di disegni e dipinti.

A causa della soppressione degli ordini religiosi imposta dapprima dall'Impero napoleonico e poi dal Regno d'Italia, tra la fine del XVIII secolo e la metà del XIX, il materiale raccolto aumentò notevolmente in quanto le opere artistiche di maggior pregio passarono in proprietà allo Stato, andando così ad integrare (quando non furono disperse tra i musei di tutto il mondo) la raccolta dell'Accademia.

Nel 1863 fu istituita una pinacoteca civica intitolata a Pietro Vannucci, ma il problema a quel punto era quello di trovare una sede adeguata per tutto il materiale raccolto. Nel 1878 la pinacoteca lasciò la vecchia sede dell'Accademia e fu trasferita al terzo piano del palazzo dei Priori.

Ampliata con acquisti e donazioni, nel 1918 assunse la denominazione di Regia Galleria Vannucci. Nel corso degli anni sono stati ricavati nuovi spazi espositivi, concessi in uso dal Comune e l'esposizione museale odierna è organizzata in sequenza cronologica e articolata per scuole. Conserva una delle più ricche raccolte d’arte in Italia, dal XIII al XIX sec., con opere di Duccio di Boninsegna, Benedetto Bonfigli, Bartolomeo Caporali, Gentile da Fabriano, Beato Angelico, Benozzo Gozzoli, Piero della Francesca, Pinturicchio, Perugino, Orazio Gentileschi, Pietro da Cortona, Gian Lorenzo Bernini e altre.