Situato a corona di un rilievo roccioso nella frazione Nozzano Castello, ancora oggi si erge un borgo fortificato, da taluni attribuito alla contessa Matilde di Canossa. Di questo borgo si hanno notizie sin dal IX secolo, fortificato dai Lucchesi per difendere il territorio dall'attacco pisano: difatti, sulla sponda opposta del fiume, sorge la corrispondente fortificazione pisana, la Rocca di Ripafratta con le sue torri di avvistamento. La fortezza centrale, invece, fu eretta a più riprese nel corso del XII secolo ed è formata da un circuito murario ellittico munito di torri e con una unica porta di accesso, con al centro una costruzione di forma semi triangolare con alte mura merlate e due torri.

Dopo la battaglia di Monteaperti (1260), divenne famosa per aver ospitato i Guelfi cacciati da varie città toscane. Più volte attaccata e distrutta dalle truppe pisane ma sempre ricostruita (l'ultima volta nel 1395, come testimoniato dalla commissione di Giovanni Sercambi), fu utilizzata fino alla fine del 1500 per controllare le navi che risalivano il Serchio verso Lucca, poi la sua importanza militare e strategica cessò e Nozzano fu uno dei centri ad ospitare una delle prime stamperie d'Italia.