Il Museo si trova ai piani superiori del palazzo. Dopo l'ingresso si entra nel cortile, costruito nel 1323 e decorato da stemmi affrescati o scolpiti e, al centro, da una cisterna sistemata nel 1361. Tra gli affreschi qui presenti sono di notevole interesse un Sant'Ivo che rende giustizia del Sodoma (1507), una Madonna con due santi (XIV secolo) e una Giustizia che calpesta la menzogna a monocromo di Vincenzo Tamagni. Da qui parte la scalinata esterna per i piani superiori, coperta da una tettoia sorretta da colonne in laterizio.

La pinacoteca vera e propria si trova al secondo piano. La prima sala è detta della Trinità, dall'affresco di Pier Francesco Fiorentino del 1497; vi si trovano anche una Madonna col Bambino e santi di Leonardo da Pistoia e la Pietà con i simboli della Passione, trittico di Sebastiano Mainardi. In una teca è inoltre esposto un raro tappeto mamelucco del XIV secolo, annodato al Cairo con un'inconsueta forma a croce che simula la soprammissione di tre tappeti.

Il vano delle scale della torre ospita a questo piano un gradino d'altare scolpito con Cherubini di Benedetto da Maiano. Il successivo salone ospita importanti opere di Coppo di Marcovaldo, Rinaldo da Siena, Benozzo Gozzoli, Sebastiano Mainardi, Domenico di Michelino, Filippino Lippi, Pinturicchio.