L'edificio, per secoli chiamato Hospitium potestatis, è posizionato in piazza Vecchia, ex piazza Nuova. L'antico scalone lo collega alla grande Sala delle Capriate del palazzo della Ragione; la parte più a nord della facciata, si apre su piazza del Duomo di fronte alla basilica di Sant'Alessandro. Il palazzo comprende la torre campanaria.

Nel 2012 è stato allestito nelle sale del palazzo il Museo interattivo storico dell'età veneta, facente parte della Fondazione Bergamo nella storia onlus. Seguendo un percorso che si suddivide in sette sale si percorre un periodo storico che dal 1492, anno della scoperta dell'America e il suo sviluppo commerciante, porta alla conoscenza della repubblica di Venezia, il suo potere e i suoi commerci.

Nelle sale interattive si viene trasportati nel Medioevo, attraverso un viaggio che da Venezia porta a Bergamo, una visita che aiuta ad interagire nel Cinquecento, incontrando i luoghi e i personaggi che hanno fatto di quegli anni la storia di Bergamo. La città rappresentata nel XVI secolo, accompagna il visitatore alla costruzione delle mura venete e alla distruzione delle chiese e monasteri che erano ostacolo alla loro edificazione, come la chiesa di Sant'Alessandro in Colonna e il monastero di Santo Stefano giungendo fino a porta Sant'Alessandro, con i colori e i suoni della grande fiera che si trovava all'esterno delle mura, e che arrivava fino alle le muraine.