La sua costruzione fu iniziata nel 1361 sul vertice meridionale delle preesitenti mura cittadine del 1200, incorporando il mastio di S.Martino, il torrione S.Giovanni. L'aspetto e quello classico di castello-recinto con pianta pentagonale dotato di torri a tutti gli angoli. La torre di sud-est è affiancata dal cassero. Le mura e le torri sono dotate di camminamento di ronda esterno aggettante, sorretto da archetti su beccatelli a piramide rovesciata, ancora oggi interamente percorribile. Le torri settentrionali sono aperte sul lato interno. Il castello incorporò anche un'antica basilica a tre navate, poi ridotta ad una per fungere da cappella alla fortificazione, della quale sono ancora visibili i resti presso la torre nord-est. Sul lato sud si estende il possente bastione mediceo, aggiunto da Cosimo alla metà del 1500.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.