Fu progettata nel 1434 da Filippo Brunelleschi come studio di edificio a pianta centrale, con forma ottagonale all'interno e con sedici facciate all'esterno. La commissionarono gli eredi del celebre Filippo degli Scolari, detto Pippo Spano, che alla sua morte nel 1426 lasciò 5.000 fiorini d'oro all'Arte dei Mercatanti di Calimala, per far costruire una chiesa camaldolese, dedicata alla Vergine e ai dodici Apostoli. Il famoso condottiero fiorentino era stato arruolato nell'esercito dell'imperatore Sigismondo che, per ricompensarlo delle vittorie contro i Turchi gli dette onori e ricchezze, il titolo di conte e quello di Spano (generale) delle armate imperiali.

Curarono la costruzione il fratello di Filippo Matteo degli Scolari, cavaliere e governatore di Serbia, e il cugino Andrea, vescovo di Varadino (nell'attuale Romania, all'epoca Ungheria), entrambi dalle riuscite carriere nate grazie alla fortunata avventura ungherese di "Pippo". Venne quindi deciso di aggiungere una cappella esterna al camaldolese monastero di Santa Maria degli Angeli, che all'epoca era un importante centro culturale, grazie al priore Ambrogio Traversari che era diventato nel 1436 priore generale dell'ordine, e grazie alle frequentazioni di intellettuali quali Coluccio Salutati, Leonardo Bruni, Carlo Marsuppini, Niccolò Niccoli, Paolo dal Pozzo Toscanelli, Palla di Noferi Strozzi e Cosimo il Vecchio de' Medici. Al progetto contribuì poi anche il lascito di Matteo, nel frattempo deceduto, per arrivare a circa 5000 fiorini.

L'esecuzione del progetto venne interrotta, perché la Repubblica requisì il lascito per sopperire alle spese della guerra contro Lucca (dal 1437), rimase il rudere alto circa sette metri, che fu poi chiamato dal popolo il Castellaccio. Esso era inserito nel muro di confine dell'orto del monastero, finché non venne coperto con un tetto.

Le mura vennero coperte con un tetto nel XVII secolo e nel XIX secolo si costruirono sopra alcune stanze e il locale servì come studio allo scultore Enrico Pazzi. Fu ristrutturata da Rodolfo Sabatini solo nel 1937 seguendo il disegno del suo ideatore ma senza riuscire a dare un aspetto unitario all'edificio, che rimane comunque diviso in parte bassa con i tipici costoloni in pietra serena, e parte alta senza decorazioni. La scelta operata dal progettista fu quella di completare le strutture rinascimentali con una nuova porzione dal linguaggio asciutto e più legato alla contemporaneità - coprendo l'aula in assoluta autonomia, così da non turbare l'architettura brunelleschiana con eccessivi contrasti. ha ospitato a lungo le aule del Centro linguistico d'Ateneo, oggi spostate in via degli Alfani, ed oggi appartiene ancora all'Università di Firenze, sebbene non venga utilizzato.