Il castello ha posizione strategica in quanto proteggeva l'accesso del lago dalla Valtellina e dalla Valchiavenna. Il castello ha piccole dimensioni e forma quadrangolare con l'accesso a sud protetto da una torre rivolta verso il lago e con un'altra torre a monte con funzioni di avvistamento.

Il castello poggia sulla roccia e ha mura con merli a coda di rondine e strette feritoie per l'uso delle balestre, anche le sommità delle torri potevano essere allestite per la difesa tramite il lancio di proiettili. Le mura sono costruite con tecniche varie tra cui l'opera quadrata e la opera spicata, anche i materiali sono vari, ma tutti del territorio circostante. Ciò denota un'evoluzione strutturale del castello durante i secoli.

È stato anche ipotizzato che la torre a monte non sia della stessa epoca, ma risalente all'XI secolo: appare di diversa fattura rispetto al resto della struttura e non è ben inserita nella pianta del castello; un altro elemento è la mancanza di aperture per le balestre, sostituite da quelle per gli arcieri. Essa potrebbe essere parte delle antiche fortificazioni di età comunale, poi inglobate da strutture successive.