L'attuale edificio, forse già esistente nel XIV secolo, divenne la sede della Scuola della Carità dopo la morte di Sibilla da Cetto, avvenuta nel 1421. L'edificio probabilmente fu abitazione della nobildonna dopo la costruzione della chiesa di San Francesco Grande e lo lasciò in eredità alla confraternita per essere occupato come sede di capitolo. La confraternita che già esisteva al principio del Quattrocento, svolgeva l'importante compito di amministrare i lasciti destinati al soccorso di infermi e poveri, a dotare le fanciulle e ad altre opere di bene. L'attuale conformazione interna fu frutto degli interventi del XVI secolo, anche se l'altare della sala del capitolo e la pala della Vergine col bambino, straordinaria opera del gotico internazionale, si trovano dispersi.

Le pareti interne della sala del capitolo sono state affrescate da Dario Varotari, padre del Padovanino, nel 1579 con Storie della vita della Vergine, ultimo grande ciclo di affreschi eseguiti a Padova verso la fine del XVI secolo. Le scene sono raggruppate in dodici riquadri; è presente un tredicesimo riquadro che raffigura Baldo de' Bonafarii e Sibilla de Cetto con l'Ospedale, la Chiesa ed il Convento di San Francesco sullo sfondo.