La villa fu fatta costruire da Cosimo I tra il 1560 e il 1564, su progetto di un non precisato architetto: viene attribuita da taluni a Bartolomeo Ammannati, da altri al giovane Bernardo Buontalenti (viste alcune analogie con la villa di Artimino).

La villa passò ai Lorena con l'estinzione della casata medicea (sec XVIII). Il granduca Pietro Leopoldo destinò una parte dei locali per i magazzini e gli uffici amministrativi di una ferriera, ancora visibile al lato del palazzo, costruita intorno al 1786 lungo il torrente Vezza. Nel 1835, chiusa la ferriera, la villa ritornò ad essere luogo di soggiorno della famiglia granducale. Passò poi allo Stato italiano e nel 1864 venne donato al comune di Seravezza che, dopo aver in un primo tempo adibito l'edificio a carcere, lo recuperò e lo usò in seguito come sede Municipale, fino al 1966.

All’interno del Palazzo è possibile visitare l’esposizione dei coppi (secc. XIV – XVI) ordinata nella cantina, a cui si accede dal salone del piano terreno: si tratta di un’importante raccolta di coppi da olio e per la conservazione di granaglie, che sono stati rinvenuti nelle volte del primo piano durante i lavori di restauro. I coppi erano stati utilizzati come materiale edile per il riempimento delle volte.