Il Collegio San Carlo nasce a Modena ai primi del Seicento per impulso di una congregazione di laici devoti, “umili artieri”, guidata dal conte Paolo Boschetti (?-1627), allora inviato estense alla corte di Toscana, con il favore del duca. Con l'intento di fornire la necessaria cultura di governo al ceto nobiliare, nel 1626 l'istituzione diviene Collegio dei Nobili di San Carlo e si apre ai giovani delle famiglie nobili italiane ed europee, secondo un modello pedagogico che collocava, accanto ai classici studi teologici, letterari e filosofici, quelli scientifici e giuridici.

Sin dal 1626, la fondazione, già "Collegio dei Nobili di San Carlo", ha sede in un palazzo barocco nel centro di Modena, in Via San Carlo. L'edificio venne progettato e seguito nel corso degli anni da tre architetti: Bartolomeo Avanzini, a cui si deve il progetto originale, Gaspare Vigarani e Giovan Pietro Piazza. Del palazzo fa parte anche il Portico del Collegio, composto da 32 archi poggianti su colonne di marmo la cui costruzione, avviata nel 1664, terminò cento anni più tardi, nel 1764.

Al primo piano si apre la Galleria d'Onore, con pareti riccamente affrescate a trompe l'œil e altre immagini di convittori; il corridoio conduce alla Sala dei Cardinali, la più importante e celebre del Collegio. La Sala Cardinali situata al primo piano del palazzo è la principale e la più raffinata del complesso architettonico: qui avevano luogo le cerimonie di laurea all'epoca in cui il collegio coincise con l'università. Riccamente decorata con affreschi in stile barocco, presenta sulle pareti ritratti di ex-allievi divenuti cardinali, da cui il nome.

Coeva all'avvio della costruzione del palazzo su progetto del medesimo architetto, Bartolomeo Avanzini, la Chiesa è un piccolo luminoso gioiello barocco. L'altare maggiore è incorniciato da un imponente apparato decorativo a stucco che rappresenta il trionfo della Fede. Le tele che sovrastano i sette altari sono dei i più importanti artisti operanti nel periodo a Modena.

Alle pareti di tutto il palazzo è esposto un ingente numero di dipinti, frutto di lasciti e donazioni nel corso dei secoli. L'insieme dei ritratti dei personaggi illustri che hanno frequentato il Collegio costituisce una preziosa testimonianza storica e di costume lungo tre secoli di vita dell'istituzione. Un'altra parte considerevole dei dipinti, conservati nei locali di rappresentanza, è costituita da quadri di carattere religioso che formano un nucleo di notevole importanza in ambito non soltanto locale.