Un primo castello in loco venne costruito probabilmente dai Longobardi intorno alla prima metà del primo millennio d.C. Il castello venne distrutto dai Franchi nel 590 e da essi ricostruito nell'806. Dal 1277 al 1387, il castello fu la residenza degli Scaligeri.

Nel maggio del 1513 il condottiero Scipione Ugoni al servizio della Repubblica di Venezia ricevette il compito dal provveditore salodiano Daniele Dandolo di attaccare Malcesine, fedele agli imperiali tedeschi. Alla testa di 300 fanti, cui si unirono gli abitanti di Gargnano, attaccò via lago Malcesine e ne espugnò il castello uccidendo 18 terazzani e perdendo solamente 3 uomini; nell'azione catturò il castellano tedesco ed un ricco cittadino veronese, che furono condotti prigionieri a Salò assieme ad un notevole bottino.

Al piano interrato e al piano terra ospita il Museo di storia naturale.