Gli storici medievali indicano questo sito come quello di un tempio romano dedicato alla Bona Mater. San Pier Damiani scrisse come in questo sito si trovava una basilica con le spoglie di san Rufino dal 412 e come il vescovo Ugone (XI secolo) fosse in contrasto con il popolo poiché voleva traslarle nell'allora cattedrale di Santa Maria Maggiore, con la vittoria dei cittadini di Assisi.

La facciata è una delle opere più significative del romanico "umbro" ed è confrontabile con esempi coevi a Spoleto, quali il Duomo e San Pietro. La fascia inferiore risale al XII secolo, coi tre portali fiancheggiati da leoni e grifi scolpiti. Il portale centrale in particolare ha una ricca ornamentazione, soprattutto nella ghiera multipla decorata da rilievi di tralci, girali, figure allegoriche e animali mostruosi; la lunetta ospita il Cristo in trono entro un clipeo, tra il sole, la luna, la Madonna che allatta e San Rufino. Il portale destro ha una lunetta con Due uccelli che si abbeverano a una fonte (simbolo delle anime cristiane che si abbeverano alla grazia divina), mentre quello sinistro ha Due leoni attorno a un vaso.

L'interno con impianto basilicale è ripartito in tre navate divise da pilastri. L'aspetto odierno risale al rinnovo del 1571 ad opera di Galeazzo Alessi; solo sopra le volte si rilevano tracce della chiesa primitiva, tra le quali i resti di una cupola. In seguito a restauri furono rimossi gli altari laterali, l'operazione sulla parete sinistra, rivelò porzioni di un muro d'epoca romana. Attualmente, nella cattedrale sono dieci le mense minori alternate a statue di Profeti, manufatti questi ultimi, opere di Agostino Silva del 1672. Fronteggiano la controfacciata in prossimità del portale centrale le due statue marmoree raffiguranti rispettivamente: San Francesco di Giovanni Dupré (1882) a sinistra e Santa Chiara di Amalia Dupré (1888) sulla destra.