Le origini del museo risalgono al 1877, quando l'amministrazione comunale istituì una pinacoteca dove furono raccolti dipinti di artisti quali Giovanni Fattori, Enrico Pollastrini e Cesare Bartolena. Successivamente furono acquisite opere di Raffaello Gambogi, Silvestro Lega, Guglielmo Micheli, Adolfo Tommasi, Vincenzo Cabianca, Enrico Banti, Corcos ed altri.
Tra la fine dell'Ottocento e l'inizio del Novecento la collezione si arricchì di reperti archeologici e di una raccolta numismatica, mentre alla morte di Fattori furono acquistati 250 disegni e 150 acqueforti dello stesso maestro. All'inizio degli anni trenta del XX secolo, il museo fu intitolato a Giovanni Fattori.