Sorse probabilmente nel IX secolo, anche se risulta menzionata per la prima volta solo nel 1030: in origine era chiamata Santo Stefano in Caballo (dall'antico nome del colle che la ospita, Monte Cavallo), poi in Arcioni. Secondo l'Armellini, la chiesa, dal XII secolo ebbe anche il nome di San Silvestro in Biberatica. Nel 1524 la chiesa venne ricostruita e affidata, con l'annesso convento, ai frati domenicani, e poi, nel 1566, ai padri teatini che ne fecero la loro casa di formazione per i novizi. Gli annessi furono costruiti, secondo Pirro Ligorio, sulle rovine del tempio di Serapide al Quirinale.

La chiesa è a croce latina e navata unica, con due cappelle per lato, cupola e profondo presbiterio. Il soffitto a cassettoni, dorato e decorato con scene bibliche, è della seconda metà del XVI secolo e attribuito a Flaminio Boulanger. Addossati alla controfacciata sono i monumenti funebri al cardinale Federico Cornaro (dello scultore Giovan Battista Della Porta) e a Prospero Farinacci. Conserva numerosi dipinti degli artisti Marcello Venusti, Jacopo Zucchi, Raffaellino da Reggio, Polidoro da Caravaggio, Maturino da Firenze, del Cavalier d'Arpino e di Giacinto Gimignani. I sei ovali divisi tra la controfacciata e i due lati della navata sono opera di Stefano Pozzi.

Annessa alla chiesa è la cappella Bandini, in fondo al transetto sinistro, opera di Ottaviano Mascherino (1580 - 1585), a pianta ottagonale con cupola e lanternino. Nella cappella il cardinale Ottavio Bandini volle il proprio monumento sepolcrale e quello dei propri genitori, con i rispettivi ritratti. All'interno sono conservati l'Assunzione, lavagna di Scipione Pulzone, e i tondi della cupola affrescati nel 1628 dal Domenichino con scene bibliche; nelle nicchie angolari sono collocate le sculture in stucco di Alessandro Algardi e di Francesco Mochi.