La cappella fu costruita nel 1411 per volere del cardinale Pedro Fernández de Frías, poco distante da porta Romana, fuori le mura, lungo la strada che congiungeva Cori con la pedemontana, la quale permetteva di raggiungere Roma e Velletri a seguito dell'impaludamento dell'Appia; la cappella apparteneva alla vicina chiesa di San Silvestro, dedicata successivamente al Santissimo Crocifisso, a sua volta facente parte di un complesso agostiniano. 

Alla cappella si accede tramite una scalinata; la facciata è caratterizzata dallo stemma dell'antico Comune di Cori che partecipò alla realizzazione dei lavori, privo della colorazione delle tessere, persa nel tempo, in stile cosmatesco, e da una mensola in calcare posta sopra l'ingresso, forse utilizzata come portalampada, sul quale è scolpito un rametto di ulivo, probabile riferimento alla patrona della città, santa Oliva.

La cappella ha una lunghezza di 8 metri per una larghezza di 4, le murature sono realizzate in calcare e tufo e internamente si presenta a navata unica con volte a botte; l'ambiente è illuminato tramite due monofore. Il ciclo di affreschi, che ricopre interamente la cappella, è in stile tardo gotico e risente degli influssi di quelli della scuola romana dell'epoca: questi sono organizzati in scomparti separati tramite colonnine e hanno come tema episodi dell'Antico e Nuovo Testamento, santi e apostoli. Sulla controfacciata è dipinto il Giudizio Universale realizzato da Pietro Coleberti, mentre le figure degli Apostoli sono attribuite a un collaboratore di Masolino da Panicale.

Una porticina sul lato destro porta alla vecchia chiesa danneggiata durante l'ultimo conflitto e che conserva una crocifissione forse della scuola del Cimabue.