Fondato nel 1568 da Ulisse Aldrovandi, il giardino è uno dei più antichi d'Europa, dopo quelli di Pisa, Padova e Firenze. Sebbene le prime iscrizioni ad indicare un giardino di erbe medicinali a Bologna risalgano al 1365, il giardino che abbiamo oggi nasce dalla proposta del botanico Luca Ghini (1490-1556), che ha poi lasciato l'incarico per creare l'Orto botanico di Pisa, ed è diventato realtà grazie al suo successore Ulisse Aldrovandi (1522-1605). Questi primi giardini erano situati nel Palazzo Pubblico, in un cortile vicino all'odierna Sala borsa, ma una parte venne trasferita nel 1587 in un sito più grande presso Borghetto San Giuliano (oggi Porta Santo Stefano), con una superficie di circa 5000 m². Nel 1653, sotto la direzione di Bartolomeo Ambrosini, il giardino contava un catalogo di circa 1500 specie.

Nel 1740 tutto il giardino viene trasferito a Porta S. Stefano, a cui segue nel 1745 la costruzione di un ibernacolo, dove sono vengono mantenute le piante esotiche durante l'inverno. Alcune serre neoclassiche sono state aggiunte nel 1765, su progetto di Francesco Tadolini, e ancora si trovano in via San Giuliano. Nel 1803 il giardino viene spostato nella sua posizione attuale. Il giardino ha subito un periodo di grave trascuratezza nei primi anni del Novecento, quando era stato coperto da un fitto bosco naturale, e nel 1944 i bombardamenti distrussero l'Orangerie di epoca napoleonica del giardino. Dalla fine della seconda guerra mondiale, tuttavia, il giardino è stato gradualmente ristrutturato.

Il giardino di oggi contiene circa 5.000 campioni rappresentanti oltre 1.200 specie diverse. Il suo sito è più o meno rettangolare, di circa 2 ettari di estensione.