Il Castello fu costruito negli anni sessanta del XIII secolo dalla famiglia Bornati in sostituzione del precedente castrum. È stato profondamente trasformato dalla famiglia Gandini, che ne diventò proprietaria nel 1562. Nel 1937 fu acquistato dall'armatore livornese Luigi Orlando dal quale deriva l'attuale denominazione alternativa di Villa Orlando.

La cinta muraria è in pietra grezza, circondata da un fossato e difesa da torri. All'interno è presente il palazzo voluto dai Gandini di chiaro stile rinascimentale che risulta essere stato costruito sul nucleo centrale del vecchio forte. Di questa struttura alto medioevale sono rimasti i resti in tre locali del piano terra. Gli interni presentano affreschi del Sorisene e del Ghitti di origine settecentesca.