L'edificio, uno dei più importanti palazzi principeschi del Seicento, è stato edificato a partire dal 1634 sul sito dell'antico castello estense, che nel medioevo era posto ai limiti della città: soltanto in seguito all'ampliamento della cinta muraria voluto dal duca Ercole il castello veniva a occupare una posizione simbolica, tra il centro medievale del comune e i nuovi quartieri rettilinei della capitale ducale. I lavori, dapprima affidati all'architetto Gaspare Vigarani, furono in seguito portati avanti da Bartolomeo Avanzini; ma pare che il progetto abbia subito la supervisione di Gian Lorenzo Bernini: il grande architetto sembra aver partecipato alla realizzazione di un'opera che rivela comunque uno stile unitario, un barocco solenne ed elegante.
Il Palazzo, ospita il Museo Storico dell'Accademia ed una preziosa Biblioteca (consultabile su domanda da presentare al Comando dell'Accademia militare).
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.