I primi documenti in cui viene citata la Pieve risalgono al 1008, il che fa presupporre che già esistesse una chiesa dedicata alla Madonna. Tuttavia, la struttura attuale è stata iniziata nel XII secolo, grazie ai finanziamenti e alla protezione del comune di Arezzo. Nel XIII secolo, la chiesa è stata dotata di una nuova facciata, mentre la alta torre campanaria è stata terminata soltanto nel 1330. Nel corso dei secoli XVI, XVII e XVIII, la chiesa è stata modificata internamente con stuccature e decorazioni di gusto barocco. Nel XIX secolo, un restauro ha eliminato tutte le aggiunte barocche con lo scopo di riportare la chiesa al suo aspetto romanico originario.

All'interno fu ideato il transetto posto di fronte al presbiterio con pilastri a fascio. Aggiunte di cappelle, di edicole e di affreschi si verificarono nel XIV secolo. Testimonianza di questo momento è rimasto il polittico con la Vergine col Bambino e i Santi Giovanni Evangelista, Donato, Giovanni Battista e Matteo commissionato a Pietro Lorenzetti nel 1320. Il busto reliquiario di San Donato, conservato nella cripta, in argento dorato, con smalti traslucidi e con pietre preziose, fu eseguito nel 1346.

Del XIV secolo è anche il fonte battesimale, di forma esagonale e con formelle raffiguranti Storie di San Giovanni Battista, opera di Giovanni d'Agostino (1332-1333). Grandi lavori di trasformazione della Pieve furono realizzati da Giorgio Vasari nel 1560. Da documenti esistenti, si dà per certo che i resti di Giorgio Vasari e della moglie Nicolosa de Bacci, posti insieme in un'urna, riposino dentro la tomba che si trova sotto il pavimento all'interno della Pieve di Santa Maria Assunta.