Il palazzo rappresenta un ottimo esempio di architettura residenziale fiorentina del '300, costruito verso la metà del secolo dalla famiglia Davizzi, mercanti benestanti dell'arte di Calimala (o dei mercatanti), fu in seguito venduto nel 1516 alla famiglia Bartolini, ricchi membri dell'Arte del Cambio, e infine nel 1578 a Bernardo Davanzati, altrettanto ricco mercante.

E' visitabile la loggia al piano terra e il primo piano (Salone Madornale, Sala dei Pappagalli, lo Studiolo, Camera dei Pavoni e le due sale dedicate ai merletti.)

L’accesso al secondo piano (Salone Madornale, Camera da letto della Castellana di Vergy, Studiolo, Sala da Pranzo) e al terzo piano (Cucina e Camera delle impannate) è organizzato a gruppi , con visita accompagnata, su richiesta e con appuntamento, alle ore 10.00, 11.00, 12.00 del mattino nei giorni di regolare apertura del museo.