Il palazzo principale è stato costruito nel 1858 su progetto dell'accademico berlinese Friedrich Hitzig. Per ampliare la collezione originale, nel 1907 il Comune acquistò il Palazzo Brunner, situato nei paraggi. Tale edificio fu utilizzato completamente solo a partire dal 1963, in seguito alla ristrutturazione di Carlo Scarpa. In quell'anno, al Palazzo Brunner fu affiancato anche il Palazzo Basevi, la cui messa in opera completa è avvenuta nel 1991, in seguito ai lavori di Franco Vattolo e Giampaolo Bartoli.
Il museo oggi è composto dai tre palazzi, con ingresso principale da via Diaz, per un'area espositiva di 4.000 metri quadrati.
Oltre alle opere del barone, il Comune acquisì numerose altre opere, pagate con le donazioni che lo stesso Revoltella aveva fatto alla città. Le opere esposte oggi sono circa 350 tra dipinti e sculture di Giuseppe Tominz, Angelo Inganni, Ippolito Caffi, Giuseppe Migliara, Francesco Hayez, Domenico Morelli, Mario Sironi, Gaetano Previati e molti altri. Il Palazzo Brunner ospita le opere di autori italiani della seconda metà dell'Ottocento (terzo piano), le opere acquisite nei primi decenni del Novecento (quarto piano), le opere di artisti del Friuli-Venezia Giulia (quinto piano) e nazionali (sesto) della seconda metà del Novecento.