La Pinacoteca ha sede nel grande palazzo di Brera, che ospita anche altre istituzioni: la Biblioteca Nazionale Braidense, l'osservatorio di Brera, l'Orto Botanico, l'Istituto Lombardo di Scienze e Lettere e l'Accademia di Belle Arti. L'edificio era stato costruito nell'antica, incolta terra "braida" (parola che nella bassa latinità aveva il significato di campo suburbano), da cui ebbe il nome Brera, il Palazzo quanto il quartiere.

Il Museo raccoglie in 38 sale capolavori di artisti italiani dal XIV al XIX secolo e di alcuni dei più grandi artisti stranieri. Tra gli artisti più famosi Piero della Francesca, Mantegna, Raffaello, Bramante, Caravaggio, Tintoretto, Bellini, Bronzino. Nel cortile d'ingresso si può vedere l’opera del Canova che rappresenta l’effige di Napoleone. Tra i dipini piu' famosi qui custoditi spicca lo "Sposalizio della Vergine" di Raffaello, il "Cristo morto" del Mantegna, la "Pietà" del Bellini. Al centro del cortile si trova il bronzo di Napoleone I scolpito dal Canova.

La Pinacoteca possiede inoltre una collezione di disegni, non esposti normalmente al pubblico e accessibili solo agli studiosi. Tra questi due disegni di Leonardo da Vinci, la Testa di Cristo preparatoria per l'Ultima Cena, e un profilo virile proveniente dal lascito Vitali e due importanti cartoni preparatori di Guido Reni e Ludovico Carracci.

Della collezione grafica fa anche parte l'importante serie dei Tarocchi Brera-Brambilla, uno dei mazzi Visconti-Sforza, commissionata nel 1463 da Francesco Sforza a Bonifacio Bembo.