La galleria Doria Pamphilj nacque nel 1651 quando Giambattista Pamphilj diventato papa col nome di Innocenzo X vincolò le pitture e gli arredi del Palazzo Pamphilj a Piazza Navona con la restituzione ereditaria, così investì suo nipote Camillo della primogenitura. In questo periodo era già stato eseguito il ritratto di Innocenzo X da Velazquez nel 1650 ma già tre anni prima la collezione si era notevolmente arricchita col matrimonio di Camillo con Olimpia Aldobrandini, matrimonio che apportò delle opere di Raffaello, Tiziano, Parmigianino e Beccafumi. Verso la metà del XVII secolo Camillo già possedeva quattro opere di Caravaggio di cui una, dal titolo "La buona ventura", fu regalata a Luigi XIV nel 1665 ed è ora al Louvre. In seguito comprò molti quadri bolognesi, di Claude Lorrain ed alcune opere delle collezioni Bonello e Savelli.

La collezione ora aveva bisogno di una collocazione appropriata: venne scelto il palazzo di Via del Corso, già appartenuto ai Della Rovere, che era passato nel 1601 agli Aldobrandini. In questo palazzo erano state allestite, in un periodo compreso tra il 1678 ed il 1681, una "Stanza dei quadri", una "Stanza degli Animali" e una "Stanza dei Paesi". Nel 1760, quando subentrò ai Pamphilj il ramo dei Doria Pamphilj, si ebbero gli acquisti di opere del Bronzino e di Sebastiano del Piombo e di una serie di arazzi (oggi esposti a Genova).