Di fronte al duomo, sul lato opposto del grandioso quadriportico antonelliano, si accede al battistero, la cui fondazione è fatta risalire all'inizio del V secolo, forse già negli ultimi anni dell'episcopato di San Gaudenzio. Fu elevato su un sito già occupato in epoca romana, come attestato dai reperti venuti alla luce sotto il livello del pavimento.

Risparmiato dalla ristrutturazione della piazza operata dall'Antonelli, il battistero, costruito in mattoni, è oggi poco visibile dall'esterno, ma si inserisce comunque nel nuovo maestoso complesso come elemento di sobria e suggestiva vetustà.

L'edificio presenta (com'è consuetudine per i battisteri) un'aula a pianta ottagonale, contornata alternativamente da absidiole semicircolari e da edicole rettangolari. La copertura originale era a tetto; il tiburio e la cupola che vediamo al suo interno nella forma attuale risalgono all'XI secolo, quando l'edificio venne innalzato per portarlo a dimensioni coerenti con quelle del duomo. All'interno, l'aula ottagonale è circondata da edicole radiali semicircolari culminanti in un catino, alternate da edicole rettangolari con volta a botte, secondo il modello delle aule imperiali romane. Ai lati di ciascuna cappella sono poste otto colonne in marmo, scanalate e sormontate da capitelli corinzi. Si tratta di manufatti romani provenienti dalle rovine di qualche edificio del II secolo, impiegati come elementi ornamentali, mentre la funzione portante è svolta dalle strutture in muratura.

Tracciando idealmente i prolungamenti delle quattro edicole rettangolari si ottiene, al centro dell'aula, un quadrato in cui è posto il fonte battesimale. I restauri eseguiti tra il 1959 ed il 1966 hanno riportato alla luce i resti della vasca in mattoni paleocristiana di forma ottagonale, che doveva essere a quel tempo ricoperta di marmi: in essa il rito battesimale veniva celebrato "per immersione".

Al posto della vasca originale, già in epoca medievale fu impiegato come contenitore di acqua destinata alla celebrazione del battesimo un manufatto romano in pietra di forma cilindrica: si tratta di un'urna funeraria risalente al II secolo che porta una iscrizione di dedica ad una certa Umbrena Polla fatta da una liberta chiamata Doxa. Dopo gli scavi che hanno riportato alla luce il fonte originale, l'urna è stata collocata nella nicchia sul lato ovest. La pavimentazione originaria era in opus sectile, con l'impiego di marmi bianchi e neri: sono rimasti solo alcuni frammenti che non lasciano intuire la antica eleganza decorativa.