Le origini del monumento costituiscono uno dei temi più oscuri e discussi di tutta la storia dell'arte. Fino al cinquecento si seguiva l'antica tradizione fiorentina secondo cui esso sarebbe stato in origine un tempio di Marte, modificato nel medioevo solo nell'abside e nella lanterna. Nei secoli seguenti invece questa idea fu gradualmente abbandonata, anche perché alla fine dell'Ottocento scavando sotto l'edificio apparvero i resti di domus romane, probabilmente del I secolo d.C., con pavimenti a mosaico a motivi geometrici. Si ritenne quindi che ciò dimostrasse l'origine medievale del monumento, e su questo presupposto si basano la maggior parte delle teorie attuali.

Nel 1128 l'edificio diventò ufficialmente battistero cittadino e intorno alla metà dello stesso secolo venne eseguito un rivestimento esterno in marmo, successivamente completato anche all'interno; il pavimento in tarsie marmoree venne realizzato nel 1209. I mosaici della scarsella risalgono verso il 1220 e successivamente fu eseguito il complesso mosaico della cupola a spicchi ottagonali, al quale si lavora tra il 1270 e il 1300, con l'intervento di frate Jacopo e la partecipazione di Coppo di Marcovaldo e di Cimabue.

Tra il 1330 e il 1336 viene eseguita la prima delle tre porte bronzee, con l'utilizzo di 24 formelle, commissionata ad Andrea Pisano dall'Arte di Calimala, l'arte più antica dalla quale discendono tutte le altre, sotto la cui tutela era il battistero: essa era di fatto in competizione con l'Arte della Lana che patronava invece il vicino duomo. La terza porta, con formelle interamente rivestite d'oro, eseguita sempre dal Ghiberti tra il 1425 e il 1452 e chiamata da Michelangelo "Porta del Paradiso", tuttora occupa il lato orientale. Per la realizzazione delle due porte, il Ghiberti creò una vera e propria bottega di bronzisti, nella quale si formarono artisti come Donatello, Michelozzo, Masolino e Paolo Uccello.

L'interno è a pianta ottagonale, con un diametro di 25,6 metri. La decorazione interna è ispirata agli edifici romani, come il Pantheon, con un ampio uso di specchiature marmoree policrome. È suddivisa, come all'esterno, in tre fasce orizzontali, la più alta però coperta dalla cupola, mentre la fascia mediana è occupata dai matronei. Inferiormente le pareti sono suddivise verticalmente in tre zone per mezzo di lesene e di colonne monolitiche in granito e in marmo cipollino di spoglio (come gran parte dei marmi del rivestimento), con capitelli dorati che reggono l'architrave. Le pareti, tripartite da colonne e raccordate agli angoli da doppi pilastri scanalati in marmo, presentano un rivestimento marmoreo a due colori alternati in fasce e altre forme, bianco di Carrara e verde di Prato. Sopra le bifore si trovano tarsie geometriche, databili a prima del 1113, a giudicare dall'iscrizione sul sarcofago del vescovo Ranieri.

La fonte battesimale in origine occupava il centro del pavimento, dove si trova un ottagono in cocciopesto. Il pavimento presenta tarsie marmoree di grande pregio, di gusto orientalizzante, con motivi geometrici, fitomorfi e zoomorfi spesso legati ad animali di fantasia, ispirati ai tessuti provenienti dal Mediterraneo meridionale e orientale. Essi furono realizzati in tutta probabilità dalle stesse maestranze che lavorarono anche, fino al 1207, in San Miniato al Monte. Dal 1048, su iniziativa di Strozzo Strozzi, esisteva nel battistero un orologio solare: attraverso un foro praticato nella cupola, i raggi solari colpivano nel corso dell'anno i segni dello zodiaco su una lastra di marmo collocata presso la porta nord, il riquadro zodiacale che oggi è in corrispondenza della porta est, in seguito al rifacimento del XIII secolo. Sulla lastra è riportato il verso palindromo "en giro torte sol ciclos et rotor igne".