La sua costruzione venne iniziata alla fine del Cinquecento dal nobile volterrano A. Incontri, ministro del Granduca di Toscana. Il disegno della facciata, di Bartolomeo Ammannati, presenta un notevole interesse artistico evidenziando l'epoca di passaggio fra Rinascimento e barocco: anticipa infatti molti elementi del secondo, con la ricchezza e la grandiosità dei bugnati, senza perdere la plastica armonia degli edifici rinascimentali.

Nel 1816 l'Accademia dei Riuniti di Volterra acquistò il piano terreno ed il cortile e vi costruì il Teatro Persio Flacco, uno dei più belli della provincia italiana. Nell'occasione venne accecato il loggiato del cortile e spostato l'ingresso del palazzo dal portone principale a quello laterale che in origine dava accesso al vicolo dei Lecci. Tale nuovo ingresso permise di continuare ad utilizzare lo scalone d'onore del palazzo di cui esiste il disegno originale dell'architetto Giovanni Caccini.

Nel 1850 Benedetto Giuseppe Viti, commerciante d'alabastro, comprò il resto dell'edificio che è tuttora abitato dalla famiglia Viti, completò la costruzione del secondo piano, ancora mancante delle volte, e lo decorò secondo il gusto dell'epoca con prevalenza di grottesche sulle volte e con il finto parato o stencil sulle pareti. Questa decorazione, in gran parte ben conservata, e l'arredamento originale costituiscono uno degli esempi più importanti e completi di abitazione signorile ottocentesca. A ciò vanno aggiunti una raccolta di alabastri antichi, tra cui i monumentali candelabri di Massimiliano d'Asburgo imperatore del Messico e i tavolini intarsiati, ed una collezione di oggetti cinesi ed orientali del Settecento ed Ottocento molto ricca ed importante. Il resto dell'arredamento è costituito da pregevole mobilia italiana e da una eccezionale quadreria dei secoli XV-XIX.