Il castello iniziò ad essere costruito probabilmente intorno all'anno 860 poco prima del pieno Medioevo, dalla famiglia Aldobrandeschi su preesistenti costruzioni di epoca longobarda; passò successivamente nella Contea di Santa Fiora a seguito della spartizione dei beni tra i due rami della famiglia. Recenti studi archeologici hanno stabilito che, quando intorno al 1100 gli Aldobrandeschi decisero di costruire la torre maestra, la rocca possedeva di già un palazzo in pietra di due piani fatto edificare molto probabilmente dal Merchese Ugo di Toscana tra il 970 e il 995.
Il Castello Aldobrandesco di Arcidosso è costituito da un imponente edificio a due corpi di fabbrica (uno dei quali più ribassato), caratterizzati, nell'insieme, da una sezione quadrangolare che poggia, a tratti, su imponenti basamenti a scarpa; le pareti esterne sono rivestite in filaretto.
Il lato settentrionale del complesso fortificato si caratterizza per la presenza di una Torre Maestra che si eleva oltre il tetto del corpo di fabbrica più alto. La sommità della torre è coronata da una serie di archetti ciechi poggianti su mensole, che costituiscono la base della merlatura soprastante. Ancora oggi è rimato un tratto della prima cinta muraria che collega il Castello con l'ex Palazzo della Cancelleria, dove, prima che venisse costruito nel 1700 c'era una Torre che collegava le mura vicine al Castello con la Porta di Castello.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
