Costruito tra il 1671 e il 1677 su progetto dell'architetto Pietro Antonio Corradi per volontà dei fratelli Rodolfo e Gio Francesco Brignole Sale, a questa famiglia rimase fino al 1874, anno in cui fu donato alla città dall'ultima erede, Maria duchessa di Galliera, per "accrescere il decoro e l'utile" di Genova e con l'evidente intenzione di lasciare ai posteri un segno della stirpe dei Brignole Sale anche con il contributo delle sue importanti collezioni d'arte. I primi interventi decorativi furono realizzati dal 1679 da Domenico Piola e Gregorio De Ferrari con la collaborazione di quadraturisti e stuccatori, portando a compimento il Salone e l'affresco sulla volta, capolavoro del De Ferrari purtroppo distrutto dai bombardamenti della seconda guerra mondiale, e quattro sale la cui decorazione è dedicata alle stagioni dell'anno.

Oltre al palazzo, la duchessa di Galliera nel 1874 donò al Comune di Genova la splendida quadreria che, unitamente agli arredi, formava il nucleo storico delle collezioni del museo: oculate acquisizioni e commissioni effettuate per oltre due secoli a dimostrazione dell'ascesa sociale, economica e politica della famiglia Brignole Sale.

A partire dalle prime commissione della prima metà del Seicento ad alcuni grandi artisti come Antoon Van Dyck da parte di Gio Francesco Brignole, anche i successori continuarono questa politica apportando un significativo ampliamento delle ricche collezioni d'arte anche grazie alle eredità ricevute (in particolare quelle di due diversi rami dei Durazzo). Oggi la quadreria si caratterizza sia per i ritratti fiamminghi sia per i dipinti di Guido Reni, di Guercino, di Mattia Preti, di Bernardo Strozzi, sia da tavole e tele d'ambito veneto del XVI secolo, fra le quali meritano d'essere ricordate le opere di Palma il Vecchio e del Veronese.

Negli anni 1953-1961 furono effettuati importanti restauri, grazie ai quali gli spazi espositivi vennero più che raddoppiati in funzione di una diversa sistemazione della quadreria, inserendo anche opere non pertinenti il nucleo storico, come la collezione di ceramiche e quella numismatica in precedenza ubicate altrove. Di diversa provenienza era anche la collezione tessile, per la quale nell'occasione venne realizzato un deposito. Inoltre trovarono sistemazione nel mezzanino fra il primo e il secondo piano nobile del gabinetto disegni stampe, la collezione topografica e la collezione cartografica.