Una prima chiesa fu costruita in questa zona nel VI secolo, e una iscrizione del X secolo è presente sulla colonna vicino l'ingresso, ma il primo riferimento a questa chiesa è una placca sulla facciata risalente al 1128. Costruita sulle rovine del Foro Olitorio, ricevette il nome "in carcere" da una prigione lì presente, che la tradizione, a partire dal XIII secolo, identificava col Carcere Tulliano, ma era invece risalente all'epoca bizantina ed era denominato Carcer ad Elephantum. La chiesa raccoglie spolia da antiche costruzioni, come evidente in particolare per le tre colonne del Tempio di Giunone Sospita.  La chiesa venne ricostruita nel 1599: la facciata di Giacomo della Porta preservò il campanile medioevale, in origine una torre fortificata poi abbandonata.

Negli ambienti sotterranei della chiesa, destinati in epoca medioevale a sepolcreto, sono visibili i podi dei tre templi e i due stretti vicoli che li separavano, nonché belle murature medioevali successive. Nel podio del tempio centrale sono presenti piccole celle a volta che hanno presumibilmente originato la leggenda del carcere di San Pietro e la confusione di questo sito con il Tullianum. Vi si riconoscono oggi, invece, botteghe di cambiavalute, ipotesi verosimile, tenuto conto della destinazione commerciale della zona, prossima anche al Foro Boario.