Secondo alcune fonti il progetto originale dell'edificio, quello del 1652, è opera dell'architetto Stefano Scaniglia di Sampierdarena che, assieme a Giovanni Battista Ghiso e altri tecnici, adattò il palazzo alle caratteristiche morfologiche del terreno di costruzione; l'Albergo è infatti situato fra le pendici del monte Galletto e la collina di Carbonara. Nel corso del XIX secolo verranno costruite le strade d'accesso attraverso l'esteso giardino del palazzo.

Il complesso, a pianta quadrilatera, si presenta con un lungo prospetto, formato da due corpi laterali avanzati e uno centrale mosso, concluso da un imponente frontone. Al centro del primo piano è presente la chiesa con intorno i quattro grandi cortili interni.

L'Albergo è ricco di pregiate opere artistiche pittoriche e scultoree. All'interno della chiesa, intitolata all'Immacolata Concezione e a unica navata, si può ammirare un dipinto raffigurante l'Ascensione del pittore Domenico Piola oltre che ad alcuni altari marmorei; sull'altare maggiore, scolpito da Francesco Schiaffino, è presente una statua dell'Assunta dello scultore Pierre Puget di Marsiglia. A sinistra dell'altare maggiore, nei pressi dell'ingresso che immette in quello che anticamente era la "Chiesa degli Uomini", sotto una lapide senza nome è sepolto, per sua volontà, il fondatore Emanuele Brignole.

All'interno della quadreria sono presenti diversi dipinti quali un polittico del pavese Pier Francesco Sacchi (attualmente presso il museo diocesano); il Ritratto di Emanuele Brignole di Giovanni Bernardo Carbone. Sono inoltre conservati dipinti di Giovanni Battista Paggi, Giovanni Andrea De Ferrari, Orazio De Ferrari, autore di un Presepe mistico con san Francesco, e di vari pittori della scuola fiamminga del Seicento.