Il palazzo, affittato dal 1786 al Tribunale allora detto della Ruota Civile, ha avuto varie fasi di costruzione, partendo da quella gotica (1375-1377); il secondo momento è quello rinascimentale (1433-1460), documentato dalla lunetta del portale con la Madonna della Misericordia di Bernardo Rossellino (1435). Il coronamento della facciata fu realizzato su progetto di Giorgio Vasari nel 1552; cinquecentesco è anche l'orologio costruito da Felice da Fossato.
Il Museo della Fraternita è stato rifondato e aperto al pubblico nel 2010. Il primo nucleo delle antiche collezioni dell’ente, derivanti da donazioni, lasciti testamentari e committenze pubbliche dal XIV secolo al XIX secolo, incluse campagne di scavi archeologici finanziati dallo stesso ente, rimasero nel Museo di Fraternita dal 1820, anno della sua fondazione, fino al 1935, quando le collezioni artistiche, archeologiche e scientifiche (minerali, reperti zoologici, strumenti) e anche la ricchissima biblioteca, salvata dopo un incendio del 1759, furono in parte destinate a formare i nuclei dei musei e biblioteca civici poi divenuti statali. Una parte cospicua delle opere (circa 8.000) tra cui dipinti, sculture, disegni, stampe e arredi antichi rimane ancora nel Palazzo e costituisce il fulcro del percorso espositivo.
La Fraternita dispone anche di una sala studio aperta al pubblico e un importantissimo Archivio storico (con documenti dal XIV al XIX secolo) che è una delle fonti principali per la storia della città di Arezzo.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.