La struttura originale, oggi nota come "castel di sotto" costituisce il nucleo più antico e comprende il mastio isolato con poche costruzioni di servizio racchiuse in una stretta cinta muraria eretta a protezione, fino al XIV secolo il Castello di Valer fu un fortilizio di scarse dimensioni.

A partire dal XV secolo gli Spaur ampliarono la costruzione, le susseguenti cinte murare che vennero erette per contenere la crescita dell'edificio ne sono una prova e costituiscono insieme agli abitati la parte oggi definita "castel di sopra" ampliando notevolmente il palazzo fino alla dimensione attuale che ospita più di cento stanze, alcune delle quale, come la Sala degli Stemmi o il Salone di Ulrico, sono riccamente decorate da pitture e perlinature in legno intagliato. Di particolare valore anche le Sale Madruzziane che devono il nome al principe vescovo Carlo Emanuele Madruzzo che veniva ospitato al castello durante l'estate.

Nella cappella del maniero, dedicata a San Valerio, si trova un ciclo di affreschi di grande impatto cromatico realizzato dai pittori bergamaschi Giovanni e Battista Baschenis, del XV secolo.

Il castello conserva ancora gli arredi originali e e le stufe storiche, entrambe le collezioni di eccezionale importanza storica e utilità culturale per permettere al visitatore di comprendere la struttura e la vita nelle epoche passate, anche la cucina originale è ancora visitabile.