La chiesa e l'annesso monastero basiliano furono fondati nell'VIII secolo da papa Stefano II o dal suo successore e fratello, papa Paolo I, nel palazzo familiare, sulle rovine di un tempio circolare dedicato al sole, fatto innalzare dall'imperatore Aureliano. Il luogo di culto venne inizialmente intitolato ai santi Silvestro e Stefano.
L'interno si presenta a navata unica, coperta da una volta a botte, con un endonartece (nartece interno) all'ingresso, sopra il quale si trovano il coro delle monache e la cassa barocca in legno dorato dell'organo a canne, risalente al 1680, che ospita uno strumento degli inizi del XX secolo costruito da Jules Anneessens.
La volta della navata venne affrescata nel 1680-1683 da Giacinto Brandi con La Vergine assunta in gloria con i santi Silvestro e Giovanni Battista. Matthia de' Rossi progettò la decorazione a stucco, realizzata da Camillo Rusconi e da Michel Maille tra il 1689 e il 1691, mentre gli affreschi alle pareti sono di Ludovico Gimignani tra il 1688 e 1690.
Sono presenti inoltre sei cappelle laterali che si aprono sulla navata, realizzate da Ludovico Gimignani, con la collaborazione di diversi pittori. Conserva inoltre opere di Francesco Trevisani, Camillo Rusconi, Giuseppe Bartolomeo Chiari, Pier Francesco Mazzucchelli detto il Morazzone e una tela con San Francesco di Orazio Gentileschi.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.