Le prime notizie sul borgo fortificato risalgono al 994. I signori di Staggia (i Soarzi) divennero in seguito una delle più potenti consorterie feudali della Valdelsa, entrando a più riprese nelle lotte tra Firenze e Siena, poiché il loro territorio si trovava sul confine tra le due rivali. Il periodo di maggior splendore del casato fu il XII secolo, mentre nel secolo successivo, quando iniziava a svilupparsi il borgo ai piedi del castello grazie al passaggio di varianti della Francigena, decaddero gradualmente. Alla fine del secolo i Franzesi, famiglia originaria del Valdarno Superiore che si era arricchita con il commercio soprattutto con la Francia (da cui il nome), acquistò il castello, ingrandendolo e ristrutturandolo.

Nel 1361 la famiglia subì il fallimento commerciale e la roccaforte venne comprata dai Fiorentini, come avamposto contro i Senesi. Nel 1372 le mura vennero rafforzate, trovandosi spesso al centro di lotte di confine. Nel 1431, con la consulenza di Filippo Brunelleschi, le mura cittadine vennero raccordate al castello, che divenne "cassero".

Con l'introduzione delle armi da fuoco e con la conquista di Siena (1555) le fortificazioni divennero sostanzialmente inutilizzate.