Il complesso risale al XV secolo ed ingloba, a sud-ovest, i resti di una torre trecentesca, che faceva parte di un "palagio" fortificato alle porte della città. Fu la residenza del gonfaloniere di giustizia Filippo Carducci, che commissionò il famoso ciclo degli uomini e donne illustri ad Andrea del Castagno nel 1448-1451, un tema poi molto caro in ambito fiorentino, che in quest'opera ha l'esemplare più antico a noi pervenutoci in ambito privato.

La villa è famosa per essere stata affrescata da Andrea del Castagno con il ciclo di affreschi di Uomini e donne illustri, il più antico del genere a Firenze. L'opera risale al 1455 e si trovava in un loggiato che diventò poi un salone; ricoperti di calce in epoca imprecisata, gli affreschi vennero poi riscoperti nel 1847, staccati e acquistati dal governo granducale; vennero esposti in varie sedi prima di approdare agli Uffizi.

Nel salone, dove è stato ricostruita l'architettura d'insieme degli affreschi nel 1965 grazie alle tracce superstiti, sono stati ritrovati nel 1948-1949 una Madonna col Bambino sotto un tendaggio a padiglione aperto da due angeli, affiancati da Adamo ed Eva, che si trovano ancora in situ.

La parte superiore del fregio risale invece al 1472 e comprende una fascia con puttini, ghirlande e stemmi araldici.