Il tempio, eretto nel 1230 dalla famiglia Gualandi, si chiamava in origine Santa Maria di Pontenovo, per via del ponte che collegava via Sant'Antonio a via Santa Maria, crollato poi nel XV secolo. Il nome Spina deriva dal fatto che conservava una spina che avrebbe fatto parte della corona indossata da Gesù alla sua crocifissione e portata qui nel 1333, ma custodita dal XIX secolo nella chiesa di Santa Chiara.

Originariamente la chiesa doveva essere costituita da un'unica loggia e coperta da un tetto a capanna. Nel 1322 il Comune deliberò dei lavori di ampliamento iniziati nel 1323 e finiti nel 1376, probabilmente sotto la direzione di Lupo di Francesco e la sua taglia, alla quale succedette quella di Andrea e Nino Pisano.

La chiesa fu soggetta a numerosissimi interventi di restauro dovuti al cedimento del terreno e alla vicinanza del fiume Arno sulle cui sponde era stata edificata. Infine, dopo l'unità d'Italia, una commissione formata da membri dell'Accademia di Belle Arti decise lo smantellamento e la ricostruzione dove fosse più stabile e sicura. I lavori, guidati dall'architetto Vincenzo Micheli, iniziarono nel 1871 e terminarono nel 1875. Questo intervento spostò di alcuni metri verso est, e più in alto il tempio. Tuttavia ci furono sostanziali modifiche alla primitiva struttura: furono inseriti alcuni gradini, le statue furono restaurate male o sostituite, e la sagrestia del 1613 non fu mai ricostruita. Una particolarità è che la chiesa di Santa Maria della Spina è sempre stata amministrata dal Comune, tranne alcune parentesi nel XVII e XVIII secolo in cui l'amministrazione ricadde sotto l'ospedale.

 

La chiesa è attualmente location di mostre di arte temporanee.