Nel 1516 la parrocchia di Santa Maria a Latera fu soppressa e trasferita nell'oratorio di San Jacopo a Cavallina, edificato un secolo prima dalla famiglia Giugni, assumendo il titolo di parrocchia dei Santi Jacopo e Maria.

L'aspetto attuale della chiesa è frutto di un radicale intervento settecentesco, che ha interessato sia l'esterno che l'interno dell'edificio. Vi si conservano alcune opere notevoli, fra cui un dipinto su tavola centinata con la Madonna col Bambino, di scuola fiorentina del XIV secolo, una pala d'altare con Sant'Anna, la Vergine col Bambino e due santi, attribuita al Maestro di Serumido. Nell'adiacente Oratorio della Compagnia dell'Assunta è conservata un'Assunzione attribuita al Pontormo o, secondo altre fonti, alla sua scuola.