L'abbazia fu fondata nel 752 dall'abate Anselmo (che da laico era stato duca del Friuli e che era diventato monaco benedettino) sul territorio ricevuto in dono dal proprio cognato, il re Astolfo. Per i longobardi la fondazione dell'abbazia dava la possibilità di far sentire l'influenza longobarda nella fascia di confine con l'esarcato bizantino e permettere la valorizzazione agricola della zona.

La chiesa abbaziale fu dedicata a6 Maria Vergine ed a San Benedetto, poi ai santi Apostoli, successivamente a San Silvestro, quando avvenne la traslazione di questo papa da Roma a Nonantola. A tutt'oggi l'abbazia custodisce alcune reliquie dello stesso san Silvestro.

L'abbazia subì il saccheggio degli Ungari nell'899 e il terremoto del 1117, ma continuò a svolgere un ruolo importante, non solo di carattere religioso. Fu la sede dell'incontro fra papa Marino e l'imperatore Carlo il Grosso e il luogo di sepoltura di papa Adriano III.

La costruzione dell'attuale chiesa, in stile romanico, è iniziata a partire dal VIII secolo dal coevo monastero benedettino di cui si sono conservate le sale del refettorio. Sono attribuite ad allievi di Wiligelmo (che aveva operato nel duomo di Modena) le decorazioni del portico, in particolare due leoni stilofori ed alcune formelle di marmo, tra cui quella con l'Adorazione dei Magi. La cripta presenta 64 colonne che secondo l'uso del tempo hanno capitelli di stili diversi (sono infatti di diversa provenienza, recuperati e riutilizzati nel restauro del 1913-17).

L'abbazia conserva uno dei più importanti tesori delle cattedrali italiane, formato da stauroteche della Santa Croce del Signore, lipsanoteche e rarissime reliquie tessili del IX secolo rinvenute per caso in abbazia del 2002 ed in archivio. Il pezzo più importante è la stauroteca della Santa Croce di Gesù, contenente uno dei maggiori frammenti conosciuti al mondo della Santa Croce del Signore, giunto a Nonantola da Costantinopoli al tempo dei primi abati che fungevano da ambasciatori per Carlo Magno presso l'Impero d'Oriente.

Il tesoro dell'abbazia è oggi visibile presso il museo benedettino e diocesano, situato a pochi metri della chiesa.

L'officina scriptoria di Nonantola fu uno dei principali centri di formazione della scrittura precarolingia. L'archivio abbaziale vanta più di 4500 pergamene, di cui 131 precedenti l'anno 1000. Tra le più importanti ricordiamo quelle di Carlo Magno, con il suo celeberrimo monogramma, quella di Matilde di Canossa con la sua firma, e quella di Federico I Barbarossa. Le pergamene più importanti sono in esposizione presso il museo benedettino.