La costruzione del palazzo iniziò nei primi anni del Settecento per terminare nel 1747. Voluta dalla famiglia Gemelli, passò per eredità ai De Forte, provenienti da Venezia e rifugiatisi ad Orta San Giulio durante la venuta napoleonica. Il Palazzo venne ancora ereditato dalla famiglia Penotti, giureconsulti e notai della riviera ortese. Sempre per passaggio ereditario, attualmente è proprietaria la famiglia Ubertini.
Situato sul lato sinistro della salita che porta alla parrocchiale dell'Assunta, presenta un portale imponente di un riposato neoclassico. All'ingresso principale, attraverso il quale entravano carrozze trainate da cavalli, si affacciano le porte delle vecchie cantine nelle quali veniva conservato il vino all'interno di grandi tini ed attualmente trasformate in una libreria ed in laboratori per la didattica.
Passando attraverso un cortile interno si sale al piano nobile. Collegati all'atrio, dove troviamo un magnifico pianoforte austriaco, ci sono i saloni ognuno dei quali spicca per la particolarità dei pavimenti e dei soffitti a cassettoni decorati. Altra caratteristica del palazzo sono i suoi camini: indimenticabile quello in pietra serena riportante al centro lo stemma dei Visconti.
