L'oratorio, costruito secondo la tradizione dallo stesso Gregorio Magno nella sua casa paterna, risale al XII-XIII secolo, e deve la sua attuale forma ai rifacimenti fatti eseguire dal cardinale Cesare Baronio tra il 1602 ed il 1608, e continuati in seguito dal cardinale Scipione Borghese.

I lavori di restauro del Seicento hanno invertito l'orientamento dell'oratorio, la cui facciata medievale dava sul clivo di Scauro. Nell'antica controfacciata (l'attuale parete di fondo) sono stati scoperti, appena al di sotto del soffitto ligneo, affreschi molto deteriorati, databili al X-XI secolo, e riproducenti un Cristo benedicente fra angeli e profeti.

L'interno dell'oratorio ha pianta rettangolare senza absidi o nicchie. Di notevole pregio è il soffitto ligneo a cassettoni, realizzato da Vittorio Ronconi nel 1607, nel quale è inserito lo stemma della Famiglia Borghese. Nella parete di fondo è l'altare, realizzato su disegno di Flaminio Ponzio: lo sovrasta la pala, realizzata da Cristoforo Roncalli, detto il Pomarancio, e raffigurante la Madonna in gloria con i santi Andrea apostolo e Gregorio magno.

L'oratorio è affrescato dalle seguenti opere: Santa Silvia e San Gregorio, di Giovanni Lanfranco, nella controfacciata attuale Sant'Andrea apostolo in contemplazione del martirio di Guido Reni San Pietro e San Paolo, dello stesso Guido Reni, ai lati della pala del Roncalli Flagellazione di sant'Andrea del Domenichino.