L'origine di questa chiesa è legata al passaggio da Anghiari di San Francesco che nel 1224, di ritorno dal sacro monte della Verna, piantò una croce alla congiunzione di tre sentieri, nel luogo dove adesso sorge la chiesa cinquecentesca dedicata appunto alla Croce.

La chiesa, fondata nel 1499 dalla Confraternita di Santa Maria al Borghetto fu terminata nel 1534. Dapprima dedicata al santo di Assisi, solo dal 1537 ricevette il titolo attuale. Il convento fu oggetto di un ampliamento nel 1563 cui fece seguito l'aggiunta del portico sulla facciata della chiesa (1565).

L'interno a navata unica è ornato da altari in pietra cinque e secenteschi eretti dalle maggiori famiglie anghiaresi, su cui sono inseriti alcuni bei dipinti di scuola fiorentina del Seicento. La chiesa offre ampia testimonianza della pittura controriformistica e devozionale toscana tra il tardo manierismo e il barocco con dipinti come l'Invenzione della Croce (altare maggiore, da alcuni attribuito a Francesco Curradi) e l'Immacolata Concezione di Domenico Cresti detto il Passignano (1599, primo altare a destra).