L’odierna piazza Giovanni XXIII sorge sulla parte meridionale di quella che al tempo di Augusta Praetoria era l’area sacra del Foro romano, delimitata dal criptoportico. In questo complesso preesistente, sorse verso la fine del IV secolo la Cattedrale. Si trattava di un edificio di imponenti dimensioni, ad un’unica navata absidata, dotato di un battistero ad ovest e di vari locali annessi, uno dei quali destinato a battistero secondario.

La facciata si trovava a pochi metri dalle strutture del braccio orientale del criptoportico ed era praticamente collegata a questo dalle strutture del battistero principale. Questo complesso, al quale vennero ad aggiungersi alcuni vani meridionali destinati a residenza episcopale o ad abitazioni del clero, restò in uso per più secoli ed il suo aspetto non venne significativamente modificato, salvo una fase costruttiva altomedievale, sino al grande cantiere romanico che diede alla Cattedrale l’aspetto che sostanzialmente conserva ancora oggi.

A questa fase dell’XI secolo risale anche l’importante ciclo di affreschi che sono stati riportati alla luce nel sottotetto della chiesa: assieme a quelli di Sant’Orso, fanno di Aosta uno dei principali centri di arte Ottoniana in Europa.

La facciata della Cattedrale si compone di due parti distinte: un atrio cinquecentesco ed una fronte neoclassica aggiunta nel 1848. L’atrio presenta un elegante prospetto architettonico in cotto, ornato da statue e da affreschi raffiguranti scene della vita della Vergine cui la chiesa è dedicata, bell’esempio di arte rinascimentale in Valle d’Aosta.

Attiguo alla chiesa, sul lato settentrionale, si trova il chiostro. Si tratta di un edificio a pianta trapezoidale terminato nel 1460 che venne a sostituirne uno analogo che già esisteva nell’XI secolo. I suoi elementi architettonici sono caratterizzati dalla presenza di materiali diversi: il bardiglio grigio, usato per i pilastri, si alterna al gesso cristallino dei capitelli e al calcare, utilizzato per i conci degli archi. I capitelli sono di due tipi: alcuni sono decorati con motivi vegetali e figure di uomini e animali, altri recano scolpiti i nomi di coloro che contribuirono alla costruzione. Nello spiazzo centrale si erge una colonna romana sormontata da un capitello corinzio, probabili testimonianze della vicina area forense. Verso il 1860 l’ala meridionale del chiostro venne in gran parte demolita per lasciare spazio alla neogotica cappella del Rosario.