La chiesa sorse a seguito del miracolo della Madonna delle Lacrime avvenuto il 26 febbraio 1490. La statua della Madonna, attribuita a Michele da Firenze, era all'epoca posta nel vestibolo dell'ospedale intitolato a San Cristoforo. Secondo le cronache del tempo la statua avrebbe lacrimato davanti ad un giovane della Spezia, che tornando da Loreto, s'inginocchiò per pregare la Vergine. È ancora visibile l'affresco con l'Annunciazione, opera giovanile di Spinello Aretino, databile poco dopo il 1370. L'avvio dei lavori dell'edificio attuale risale al 1491, prima sotto la direzione di Bartolomeo Della Gatta e poi, dopo la sua morte, di Antonio da Sangallo il Vecchio (1505).

Nel 1590 fu deciso di collocare la statua della Madonna nell'altare maggiore. All'interno della chiesa vanno segnalati gli eleganti capitelli, in parte assegnati a Pietro Subisso. Notevole esempio di arte vetraia è il ciclo di dodici vetrate che, iniziato nel 1509, ne comprende sei autografe di Guillaume de Marcillat (1520-1525). Al 1521 risale l'Adorazione dei pastori di Niccolò Soggi. A Pietro da Cortona è attribuita invece la Vergine che appare a San Francesco (1641). All'interno della chiesa anche un'opera giovanile di Giorgio Vasari, la Deposizione.