La tradizione vuole che la basilica sia stata eretta sui resti dell'antico palazzo imperiale di Claudio. Rufino vescovo, nel 237 circa iniziò i lavori della chiesa, affidandola al figlio Cesidio, martirizzato poi anch'egli, come il padre, insieme ai compagni di fede Placido ed Eutichio durante le persecuzioni romane. L'attuale edificio, di caratteristiche duecentesche, fu eretto sulle vestigia di uno più antico, del quale sono testimoni gli atti custoditi nell'archivio parrocchiale. Negli anni successivi prese le forme di una vera e propria basilica e la sua fama crebbe.

La struttura, a pianta rettangolare irregolare; la facciata a capanna è assai povera, con una finestra a semicerchio e due rettangolari. Sulla destra sorge un compatto ed imponente campanile a pianta quadrangolare, e dalla forma piramidale, scandito in due livelli. Il secondo livello infatti, quello della cella campanaria, ha la forma di una torretta. La facciata è inoltre arricchita da un piccolo portale, conservatosi nella sua forma medievale nei secoli, con una copertura soprastante. Sul lato sinistro della basilica è posto una cappella, detta "oratorio della Concezione", e un portale trecentesco perfettamente conservato, detto "portale degli Uomini".

L'interno è suddiviso in tre navate, avendo conservato l'impianto trecentesco. L'ambone è duecentesco, mentre la decorazione floreale a capriate scoperte e è barocca. Importante è il colonnato di pietra montana e la cappella dei santi di Trasacco, ove sono conservate le loro reliquie. Nel reliquiario d'argento, in particolare, si conserva il cosiddetto "braccio di san Cesidio".

Nell'oratorio si trovano i resti dei monumenti funerari dei Titecii, ovvero della gens Titecia, famiglia che fu a capo dell'amministrazione di Supinum, in epoca imperiale. Si tratta dei resti di un gruppo di lastre decorate da fregi d'armi e insegne militari.