L'abbazia sorse alla metà del X secolo ad opera di monaci greci e fu ricostruita tra la fine del secolo e l'inizio dell'XI per volere di Adelaide di Borgogna, vedova dell'imperatore Ottone I. Nello stesso secolo passò ai monaci benedettini e fu ingrandita nel XII con l'aggiunta di un piano. Nel XIII secolo vi fu aggiunto il corpo edilizio con loggiato verso il mare, ad opera della famiglia genovese dei Doria, che utilizzò una sala dell'abbazia per le proprie sepolture. Il chiostro superiore fu ricostruito nel XVI secolo per volontà di Andrea Doria, mentre nel 1562 fu costruito il torrione di avvistamento quadrato che tuttora domina la baia. L'abbazia fu in seguito abbandonata e utilizzata come abitazione. Nel 1933 fu restaurata dallo stato e nel 1983 i Doria Pamphili donarono gli edifici e i terreni al Fondo per l'Ambiente Italiano.

Nelle sale del complesso monastico un restauro completato negli anni novanta ha rimesso in luce le antiche strutture romaniche, è stato allestito un museo dedicato alla storia dell'abbazia. In diverse teche sono esposte le ceramiche da tavola, scoperte in un deposito del monastero e di varie provenienze geografiche, usate dal XIII al XIV secolo dai monaci.

La primaria torre nolare, considerata tra i più antichi elementi architettonici della Liguria, fu realizzata intorno al X secolo con calotta sferica e leggermente ovale, secondo il canone artistico dei Bizantini. Solo in seguito la struttura fu sovrapposta con un nuova torre ottagonale con lesene a vista.

L'abbazia non è raggiungibile da alcuna arteria stradale, ma vi si può accedere soltanto via mare o percorrendo uno scosceso sentiero che scende dal soprastante monte di Portofino che domina il Golfo Paradiso. Vicino all'abbazia si trova una spiaggia balneabile.