La costruzione di questo palazzo iniziò nel 1442 ad opera dell'architetto Giovanni Pace detto Sodo, in un periodo molto florido, dal punto di vista economico, per la città; è situato molto vicino al porto, da sempre fulcro degli intensi scambi mercantili indispensabili per l'economia di Ancona. Si voleva creare un luogo destinato alle riunioni di mercanti e dove questi potevano trattare liberamente dei loro traffici.
La facciata, in stile gotico veneziano, è dell'architetto Giorgio da Sebenico che vi lavorò dal 1451 al 1459. Divisa in tre parti da quattro colonne in rilievo che terminano ciascuna con un pinnacolo; ognuna contiene una statua che rappresenta quattro virtù cardinali: dalla sinistra a destra esse sono: la Speranza, la Fortezza, la Giustizia e la Carità. Le due parti laterali hanno nella parte bassa dei grandi finestroni in vetro colorato a forma di arco ogivale concavo, chiuse dal 1758 per ragioni di statica. Nella parte alta ospitano delle bifore cieche e, nella parte centrale, si trova la statua del cavaliere araldico dello stemma di Ancona.
L'edificio progettato da Giorgio da Sebenico originariamente non aveva infissi a piano terra, né verso la strada, né verso il porto, come indica ancora il suo nome di loggia. Inoltre le bifore del primo piano erano aperte, e solo successivamente furono tamponate, per motivi statici.
Un incendio avvenuto durante una rappresentazione teatrale del carnevale nel 1556, rese necessario un intervento di rifacimento eseguito da Pellegrino Tibaldi tra il 1558 ed il 1561; egli chiuse con infissi le aperture del piano terra, realizzando tre archi a tutto sesto al di sotto degli archi gotici, ed affrescò la volta del salone interno.
Alla fine del XVIII secolo il governo francese che occupava la città donò la proprietà dell'edificio alla Camera di Commercio, ma questo atto non fu riconosciuto dopo la restaurazione del dominio pontificio. Solo con l'annessione al Regno d'Italia la proprietà dell'edificio ritornò alla Camera di Commercio di Ancona, che lo usa come sede fino al 1928. Gravemente danneggiata nei bombardamenti che colpirono la città nella seconda guerra mondiale, di recente sono stati conclusi i restauri interni con il consolidamento e la ripulitura dei lacerti degli affreschi tibaldeschi superstiti sulla volta. Oggi vi si tengono convegni o conferenze di particolare importanza.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.