Rocca San Silvestro è un villaggio fortificato sorto intorno al X secolo, grazie allo sfruttamento signorile dei ricchi giacimenti minerari. Il complesso si trova all'interno del parco archeominerario di San Silvestro, precisamente sul crinale del Monte Rombolo, a una quota di 331 metri s.l.d.m.
Il villaggio è composto da due piani concentrici e fortificati. Il piano superiore costituisce la vera e propria parte fortificata, con la torre di guardia, mentre quello inferiore è il centro abitato dai minatori, con le abitazioni, il forno, l'area produttiva e il borgo popolare.
Immediatamente sotto l'area militare-signorile si ha un piano circondato da una seconda cortina muraria, tuttora ben conservata per lunghi tratti, al cui interno si sviluppa il centro abitato popolare con le abitazioni, e i fulcri vitali del villaggio.
La cinta muraria che circonda l'intero complesso abitativo è lunga circa 400 metri e racchiude una superficie di circa un ettaro. È realizzata in muratura a sacco, con blocchi di calcare locale disposti in file, aperte a tratti, da strette feritoie strombate ed è in gran parte fondata sulla roccia affiorante.
La realizzazione della cinta muraria è avvenuta in più fasi costruttive, di pari passo con l'ampliamento e la trasformazione del centro abitato; infatti si hanno tracce di una precedente cinta, ora integrata nelle abitazioni all'interno del castello, altra modifica posteriore è lo spostamento della porta di accesso e il prolungamento delle mura con una tecnica più approssimativa dotata di merli.
