La villa fu fatta costruire alla fine del 1600 dal marchese Giorgio Clerici: si presenta come un edificio di grande imponenza, ma, rispetto ai canoni dell'epoca, anche molto sobrio. È articolata in tre piani (di cui due sono oggi visitabili). Il luogo permette una vista sulla penisola di Bellagio ed anche sulle montagne che circondano il lago.

La villa divenne proprietà di Gian Battista Sommariva all'inizio del secolo XIX: si trattava di un abile politico, collezionista d'arte e amico personale di Napoleone. Con il Sommariva le raccolte d'arte si arricchirono con capolavori, soprattutto di scultura, tra cui opere di Canova e della sua scuola e di Thorvaldsen come Palamede, Amore e Psiche, Tersicore e il monumentale fregio con i Trionfi di Alessandro Magno. Nelle sale della villa giunse anche il manifesto dell'arte romantica italiana, dipinto da Hayez: l'Ultimo bacio di Romeo e Giulietta.

Le opere di arte esposte si trovano prevalentemente al piano inferiore, mentre quello superiore, dotato di una elegantissima galleria, mostra la villa prevalentemente dal punto di vista abitativo. È qui che abitava Carlotta, il personaggio che finì per dare il nome alla villa. Infatti, intorno al 1850 la costruzione divenne di proprietà dalla principessa Marianna di Orange-Nassau che la donò alla figlia Carlotta quando sposò Giorgio II, duca di Sachsen-Meiningen.

Fu merito di tale duca una cura particolare del giardino: infatti il duca, appassionato di botanica, si prodigò per lo sviluppo e l'arricchimento del giardino, che oggi è di grande pregio storico ed architettonico; nel parco sono presenti oltre 150 varietà di azalee, ma ci sono anche antiche camelie, cedri e sequoie secolari, platani ed essenze esotiche. La villa fu poi affidata ad un amministratore in quanto proprietà di un cittadino nemico, e passò in seguito ad un apposito ente che ne ha ulteriormente valorizzato il museo e i notevoli giardini.