Intorno al 1231 i Francescani si insediarono a Pesaro in questa zona, e vi eressero una prima chiesa nel 1270. Durante la dominazione malatestiana (1285-1445), i signori favoriscono i tre ordini mendicanti: San Francesco, San Domenico e Sant'Agostino.

Pandolfo II, Signore di Pesaro dal 1355 al 1373, intraprese la ricostruzione dell'edificio dotandolo del bel portale gotico della facciata realizzato fra il 1356 e il 1373 in pietra d'Istria e marmo rosso di Verona e di cicli affrescati nell'interno. La chiesa venne consacrata a san Francesco nel 1359.

Tuttavia la chiesa venne già ritoccata nel XVI secolo, soprattutto in seguito all'attacco del Valentino del 1503 le cui artiglierie distrussero i campanili della chiesa e della cattedrale.

Nel Settecento l'edificio venne completamente ristrutturato secondo le tendenze dello stile tardobarocco conservando della chiesa originale solo il portale e qualche struttura portante. Anche il convento venne ricostruito fra il 1771 e il 1805, su disegno dell'architetto pesarese Giuseppe Tranquilli, allievo del Vanvitelli.

La chiesa venne dedicata alla Madonna delle Grazie solo nel 1922 quando vi venne traslata la venerata immagine della Vergine dalla vicina chiesa dei Servi, abbattuta secondo i piani del nuovo sviluppo urbanistico.

All'interno della chiesa, diviso in tre navate, si conservano tombe medievali, affreschi staccati e tracce degli affreschi tre-quattrocenteschi e la tela di Sant'Orsola, di Palma il Giovane. Qui si trova l'arca di Paola Orsini, morta nel 1371, moglie di Pandolfo II Malatesta.