La rocca fu costruita verso l'anno 940 da Adalberto Atto, figlio di Sigifredo di Lucca, principe di stirpe longobarda. Oltre alla casa dominicale, sulla sommità della rupe, il castello comprendeva un convento nel quale risiedevano abitualmente dodici monaci dell'ordine dei benedettini cluniacensi e la chiesa di Sant'Apollonio. Era difesa da triplice giro di mura e fra il primo e il secondo, i più bassi, prendevano posto i fabbricati di ricovero per gli armati e i servi e i fabbricati che costituivano i borghi.

Durante il Medioevo la rocca fu imprendibile e in essa ebbe rifugio sicuro la regina Adelaide, vedova di Lotario II re d'Italia, che nel 950 riparò a Canossa per difendersi dal marchese d'Ivrea, Berengario II, che per oltre 3 anni assediò, senza risultato, la rocca.

L'episodio principale per cui è famosa Canossa è la conciliazione dell'imperatore Enrico (o Arrigo) IV col pontefice Gregorio VII nell'anno 1077, di cui Matilde fu protagonista, e da cui deriva il detto andare a Canossa, diffuso in tutte le lingue europee.