Edificato nel 1599 per la Compagnia di San Filippo Benizi, soppressa questa nel 1785. I locali furono allora occupati dalla confraternita di Santa Maria della Pietà detta buca di San Girolamo, e, dal 1911, anche dalla Compagnia di San Francesco Poverino, il cui oratorio in via San Zanobi era andato distrutto nel 1844; la fusione dei due sodalizi dette vita alla "Venerabile confraternita di San Girolamo e San Francesco Poverino in San Filippo Benizi".

Numerose opere d'arte ed arredi appartenuti alle tre compagnie vi sono ancora conservati. Tra gli autori delle opere d'arte si segnalano il cosiddetto Pseudo-Pierfrancesco Fiorentino, Jacopo Vignali, Jacopo da Empoli, Baccio del Bianco, Francesco Morandini, l'Amigoli, il Parenti e vari "anonimi" del Cinque e del Seicento. Gli affreschi che ornano il soffitto e le pareti, rappresentanti San Filippo Benizi in gloria e i Sette Santi Fiorentini, sono di Gennaro Landi.

L'oratorio possiede due crocifissi: il Crocifisso scolpito e dipinto da Andrea del Verrocchio, del 1475 circa, è in deposito temporaneo presso il Bargello, mentre si venera ancora nell'oratorio come miracoloso un altro Crocifisso ligneo detto "lauretano" e "della buona morte", di squisita fattura, della seconda metà del XIV secolo, che qualche studioso avvicina ad una croce dell'Orcagna ed altri pone in ambito pisano. Il laborioso restauro ad opera di Lisa Venerosi Pesciolini, terminato nel maggio 2015, ha rivelato tutta l'eccezionale bellezza della scultura che, si spera, verrà ristudiata per pervenire ad un'attribuzione più sicura. Sulla cantoria in controfacciata vi è l'organo a canne, costruito da Luigi Tronci nel 1799-1800.

Affascinante, per la finezza del modellato e la tragicità del volto, è una scultura in terracotta del 1454, San Girolamo penitente, il cui termine di confronto più immediato è Andrea del Castagno, la cui Apparizione della Trinità a san Girolamo, che si trova nella basilica della Santissima Annunziata, è di poco successiva. Nell'oratorio viene ancor oggi officiata la messa secondo il rito romano antico in latino la domenica e le feste di precetto.