La Fortezza è composta da due elementi di fabbrica distinti:
il primo, vero e proprio castello e elemento principale della fortificazione ha una pianta triangolare, con ai vertici tre bastioni. Questo elemento di fabbrica ospita la struttura vera e propria del castello;

il secondo è un enorme rivellino in forma di terrapieno fortificato triangolare, quasi delle stesse dimensioni della fortezza; contrapposto al primo e collegato attraverso un ponte volante, così da formare con il primo elemento una sorta di rombo costituito da due triangoli.

L'accesso alla fortezza è possibile attraversando il ponticello in pietra, che scavalca l'ampio e profondo fossato, fortificato anch'esso.

L'esistenza di una prima struttura a scopo militare è menzionata per la prima volta nel diploma dell'Imperatore Ottone I, in cui viene concesso al Vescovo di Luni, il possesso di sei castra tra i quali, quello de Sarzano. Con il passare degli anni e con il mutare delle situazioni politico-militari, la fortezza acquistò sempre maggiore importanza, tale da ospitarvi, intorno alla fine del X secolo, una delle residenze vescovili della vallata. Il castrum viene citato costantemente negli anni 1076, 1078, 1080, come curtis dell'imperatore Federico I, nel 1191 come curtis di Enrico VI.

La lenta e progressiva decadenza di Luni, iniziata già dal IV secolo, portò i suoi abitanti a migrare sui colli circostanti in cerca di sicurezza, dando così luogo all'incremento se non alla nascita di nuovi borghi (Nicola, Ortonovo, Castelnuovo Magra, Ameglia) e la stessa collina di Sarzanello si popolò di esuli che vi si stabilirono, raccolti attorno alla residenza più importante del Vescovo.