L'origine della pinacoteca si deve al conte Giacomo Carrara, mecenate e collezionista con un generoso lascito alla città di Bergamo alla fine del Settecento. L'intenzione era quella di creare una Scuola di Belle Arti affiancata da una Pinacoteca che custodisse modelli utili per gli studenti. La Scuola nacque nel 1796 e dal 1810 ebbe sede nel palazzo costruito da Simone Elia, luogo in cui si trovava anche la Pinacoteca. Quest'ultima raccoglie e contiene tutt'oggi le opere collezionate dal Carrara, cui si sono aggiunte nel tempo donazioni di altri collezionisti: Guglielmo Lochis, Giovanni Morelli e Federico Zeri.

Il museo negli anni ha continuato ad incrementare il proprio patrimonio con acquisizioni e donazioni. Attualmente possiede più di 3000 disegni, oltre 8000 stampe, 1.800 dipinti dal XV al XIX secolo di artisti quali Pisanello, Botticelli, Bellini, Moretto, Mantegna, Raffaello, Palma il Giovane, Moroni, Baschenis, Fra Galgario, Tiepolo, Canaletto, Carlo Ceresa, Piccio, Giacomo Trecourt.

Per qualità e articolazione culturale il Museo si colloca oggi fra i più significativi musei di arte antica in Italia e vede, nella Galleria d'Arte Moderna e Contemporanea recentemente aperta, e nell'attuale rinnovamento dell'impostazione didattica dell'Accademia Carrara di Belle Arti, il concreto segno d'apertura verso il mondo della cultura artistica odierna.