Fu fatto costruire tra il 1536 e il 1544 dal banchiere genovese Gerolamo Grimaldi Oliva, arricchitosi in Portogallo e Spagna dove gestiva la riscossione delle tasse a Cordoba e Granada. All'epoca della costruzione sorgeva in una zona poco urbanizzata e di notevole pendenza, con accesso e fronte principale sulla salita di San Francesco di Castelletto, oltre a due prospetti laterali affacciati su giardini a monte e a valle, molto lodati dall'architetto Joseph Fürttenbach. Gli affreschi della facciata nord, ancora visibili, raffiguranti le Fatiche di Ercole sono stati attribuiti ad Aurelio Busso.

La decorazione ad affresco di numerose sale interne, ad opera di Luca Cambiaso, Giovanni Battista Castello, Lazzaro Calvi e altri fu avviata tra il 1556 e il 1566 sotto la committenza del figlio di Gerolamo, Giovanni Battista Grimaldi, proprietario della celebre villa Grimaldi detta La Fortezza a Sampierdarena.

L'edificio cinquecentesco, dal duplice carattere di palazzo di città decentrato e di residenza di villa suburbana custodisce nella sua straordinaria ambiguità la genesi segreta di un rinnovamento architettonico che pochi hanno finora denunciato con chiarezza nelle sue ascendenze.