Attualmente non è facile identificare l'antica struttura monastica di Elmi a causa dei numerosi edifici che sono stati addossati al corpo abbaziale nel corso del tempo. Spicca una massiccia torre a pianta quadrata, aperta da una stretta feritoia nella fiancata settentrionale.

La chiesa è situata nel fianco meridionale del complesso. Ha una pianta rettangolare conclusa da un'abside e conserva per intero il paramento murario realizzato tramite conci di arenaria.

La facciata a capanna è tripartita da quattro lesene, è intonacata ed è decorata, nei pressi della cuspide, con una serie di archetti pensili. La tribuna è caratterizzata dal volume dell'abside, la quale è aperta da due monofore a doppio sguancio poste in asse l'una con l'altra. Quella inferiore, con architrave a estradosso diritto, ha il compito di dare luce alla cripta mentre quella superiore, con architrave monolitico arcuato, ha il compito di illuminare l'interno della chiesa.

Il complesso abbaziale di Badia a Elmi conserva, intatta nella struttura originaria, la cripta romanica, unico esempio nel territorio della media Valdelsa. La cripta è stata utilizzata fino a dopo la seconda guerra mondiale come cantina e questo ha comportato la formazione di una patina scura sull'intera superficie muraria.

La cripta ha una pianta quadrata a tre navate concluse da absidi; il piano di calpestio è rialzato rispetto a quello originario e in corrispondenza della navata centrale sono visibili tre aperture, in origine utilizzate come ossari mentre la copertura è fatta con volte a crociera a tutto sesto con sottarchi poggianti su sei esili colonne monolitiche in arenaria e a queste corrispondono otto semicolonne in pietra poste sui muri perimetrali.