Le sue origini risalgono all’850 ed era proprietà del legato imperiale al tempo di Ludovico II, Guinigi di Reghinari, conte longobardo.

Di aspetto medievale e merlatura guelfa, è cinto su tre lati da un fossato con ponticello in muratura (in origine era presente un ponte levatoio) e parziale camminamento per la ronda. Il camminamento resta solo sul lato nord, mentre nell'angolo ovest è presente una garitta in mattoni, merlata e stondata sul lato interno, che doveva essere il riparo delle sentinelle di guardia. I lati sud-ovest e sud-est sono più bassi e peggio conservati: restano tracce di altre garitte perdute nelle mensole d'angolo superstiti.

All'interno si trova un cortile ad anello, con al centro il mastio, collegato alle mura da un passaggio ad arco che scavalca la radura interna. Sull'arco un camminamento retto da mensole porta a una delle due originarie torrette d'angolo, con merlatura rifatta in stile, che sormonta il portale d'ingresso a nord-est.

I basamenti murari sono leggermente scarpati e il mastio ha una cornice di archetti pensili su beccatelli all'altezza del primo piano, che reggono il leggero aggetto del piano superiore. In corrispondenza di un'altra torretta, dotata di arco ribassato in laterizi alla base e piombatoio, si trova il portale interno del cassero, posto in asse con l'accesso alle mura esterne e incorniciato elegantemente da bozze in arenaria tufacea. Il secondo piombatoio, che lo sovrasta, è un rifacimento recente.

All'interno l'Annunciazione, ultima opera di Pietro Lorenzetti, e la Madonna nella cappella del castello, opera di Baldassarre Peruzzi.