La prima traccia nelle cronache del castello, costruito nel Medioevo, risale al 1191. L'edificio è stato ristrutturato a partire dal 1274 per volontà del conte Simone Guidi e di suo figlio Guido. Il castello è stato teatro di un avvenimento storico: l'11 giugno 1289, davanti al monumento, si è svolta la battaglia di Campaldino. Incerta la paternità dell'edificio: la parte più antica è attribuita non univocamente a Lapo di Cambio, mentre la più recente, databile alla fine del XIII secolo, sarebbe di Arnolfo di Cambio.

All'interno dell'edificio, che per anni ha ospitato la sede dell'amministrazione comunale del centro in provincia di Arezzo, è possibile vedere una cappella, un museo sulla battaglia di Campaldino, una biblioteca e il Centro di documentazione Giovanni Gualberto Miniati.

Sulla volta della navata unica della cappella annessa al castello si trova uno dei più importanti cicli di affreschi della provincia di Arezzo. Quasi interamente affrescati sono anche i suoi muri: da segnalare i tre cicli sulle Storie di San Giovanni Battista, San Giovanni Evangelista e dalla vita di Maria, oltre alle figure di santi collocate al di sotto di questi. In una nicchia collocata al di sotto di una finestra vi è un polittico Trompe-l'œil affrescato, mentre su ognuno dei quattro angoli della volta sono dipinti gli Evangelisti in trono, la cui paternità è stata attribuita a Taddeo Gaddi, allievo di Giotto, dopo i restauri eseguiti fra il 1988 e il 1990.