La splendida costruzione fu voluta dal teologo fra Michelangelo Carmeli per ospitare degnamente l'immensa collezione libraria dei Minori, 15000 libri tra cui 450 manoscritti. Compiuta sullo stile delle grandi biblioteche barocche da Andrea Camarata tra il 1753 ed il 1761, si inserì nell'ala a ponente del convento. Al piano terra si trova la cappella (dove fu rinvenuto morto in preghiera fra Carmeli nel 1766) decorata da Alipio Melani. Vi è pure l'antico broletto con fontana, spazio meditativo voluto dal frate. Nel mezzanino si trovava l'appartamento del bibliotecario e gli spazi per gli studiosi. La grande sala a pianta rettangolare al piano superiore è invece la biblioteca vera e propria, decorata ad affresco da Giuseppe Gru con scene mitologiche.
Lungo il perimetro della sala stanno i pregevoli scaffali barocchi in ebano e radica, opere dei frati Andrea da Volta Mantovana, Bernardo da Brescia e Antonio da Sambruson. La biblioteca venne depredata durante l'occupazione napoleonica. Il patrimonio fu smembrato, in parte finì a Parigi, altro confluì nella raccolta universitaria. Molto finì all'asta. La struttura è ora parte occupata dalla scuola media "Giovanni Pascoli" e dalla superiore "Duca d'Aosta" che la utilizzò come aula magna sino al 1995 quando fu colpita da un fulmine che provocò un furioso incendio. Ripristinata nel 2011 è ora utilizzata a scopi culturali.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
