La chiesa viene menzionata la prima volta nel 988 come edificio sorto nel luogo dove nel 393 sarebbe stato ospitato sant’Ambrogio in visita a Firenze, ma potrebbe essere ancora più antica, forse fondata nel VII secolo come cappella di un convento femminile sorto a memoria del passaggio del santo.

Fra la fine del Quattro e i primi del Cinquecento, furono sepolti in Sant'Ambrogio numerosi artisti, oltre a Mino da Fiesole, anche Andrea Verrocchio, Simone del Pollaiolo detto il Cronaca, i fratelli Del Tasso e Francesco Granacci, dei quali restano le lastre tombali sul pavimento o sulle pareti. Nel corso del Cinquecento si realizzarono gli archi in pietra serena che delimitano gli altari, al posto di vere e proprie cappelle per via del poco spazio, per la decorazione dei quali furono commissionate nuove opere, come la pregevole statua lignea di San Sebastiano di Leonardo del Tasso, oggi tra il secondo e il terzo altare di sinistra, o le pale di altare di Cosimo Rosselli, già autore degli affreschi della Cappella del Miracolo, o di Raffaellino del Garbo o Andrea Boscolo.