L'artista acquistò questa abitazione verso il 1540 e, impegnatissimo tra Firenze, Roma e i suoi viaggi, vi visse per brevi periodi, intervenendo però direttamente sia nei lavori di completamento, che di decorazione, compreso il disperso nucleo di arredi. Aveva progettato anche una facciata, che non venne mai realizzata.
Esempio tra i meglio conservati nella regione di casa d'artista e dimora di gusto manierista, fu proprietà degli eredi del Vasari fino alla loro estinzione, nel 1687, quando passò alla Fraternita dei Laici. Venduta a una famiglia privata, i Brozzi, nel 1897 passò ai Paglizzi e, infine, venne acquistata dallo Stato nel 1911, che ne fece un museo aperto al pubblico. È sede anche dell'Archivio Vasariano.
Si raggiunge il piano nobile tramite una scalinata sormontata dal Busto di Giorgio Vasari di ignoto toscano cinque-seicentesco. La prima sala che si incontra è quella del Camino, affrescata da Vasari nel 1548 con la Cacciata dell’Invidia e della Fortuna da parte della Virtù nel soffitto e alle pareti figure allegoriche, paesaggi e storie dei pittori dell'antichità. A destra si trova la cappellina, con una Madonna di Fra Paolino e un raro pavimento in maiolica originale del XVI secolo.
Il corridoio di Cerere, o dei Draghi, mostra alcuni dipinti del tardo manierismo, tra cui una Circoncisione attribuita a Mirabello Cavalori e la Morte di Adone di Jacopo Zucchi. A sinistra la Camera Nuziale col soffitto decorato da un affresco del Vasari di Abramo tra le figure allegoriche della Pace, la Concordia, la Virtù e la Modestia. Tra i dipinti l'Elemosina di san Nicola di Giovanni Stradano, il Cristo portato al sepolcro del giovane Vasari e, dello stesso, un Giuda. Dal corridoio si accede anche all'ex-cucina, affrescata da Raimondo Zaballi nel 1827 e decorata da ritratti soprattutto toscani del XVI secolo. La Camera di Apollo fu affrescata dal padrone di casa con Apollo e le nove Muse e l'Allegoria dell'Amore coniugale, dove si trova il ritratto della moglie, Nicolosa Bacci. Tra i dipinti qui esposti il San Francesco di Alessandro Allori, il contenitore per specchio con la Prudenza, attribuita allo stesso, la Casa del Sole del Poppi, il San Girolamo e la Fortuna di Jacopo Ligozzi.
Nella Camera della Fama Vasari dipinse sul soffitto la Fama e sui peducci e le lunette (assai ridipinti) le quattro Arti, il suo autoritratto e i ritratti degli artisti aretini o del territorio di Arezzo: Lazzaro Vasari, Luca Signorelli, Spinello Aretino, Bartolomeo della Gatta, Michelangelo e Andrea del Sarto. La Crocifissione è di Giovanni Stradano (1581), la terracotta policroma invetriata con Galba di Andrea Sansovino, la tavola della Carità di Carlo Portelli. Un piccolo ambiente attiguo contiene il modellino ligneo della Loggia del Vasari, realizzata proprio ad Arezzo, la Madonna col Bambino, sant'Elisabetta e san Giovannino di Santi di Tito e tre scomparti di predella di Maso da San Friano.
