Fu costruito tra il 1230 e il 1235 nelle forme di una casatorre da Rambaldo ed Arnoldo da Cagnò che erano riusciti a ottenerne la concessione dal principe vescovo di Trento Gerardo. Era utilizzato insieme alla sovrastante Rocca di Samoclevo per il controllo dei traffici commerciali della Val di Sole.
Il castello è posto su un piccolo dosso proprio all'ingresso del paese di Caldes. La sua struttura è incentrata attorno al nucleo originale costituito dalla torre a cinque piani con tetto a doppia falda. Addossati a questa nel corso dei secoli sono stati costruiti gli altri edifici residenziali e la torretta con la scala a chiocciola. La cappella del castello è invece esterna agli edifici anche se comunque all'interno del muro che lo circonda.
Nella torre del castello è presente una sala completamente affrescata chiamata la prigione di Olinda. Secondo la leggenda la contessina Marianna Elisabetta Thun vi fu rinchiusa da suo padre Redemondo per impedire il matrimonio con Arunte, menestrello di corte, di cui si era innamorata. La contessina vi morì per amore e si dice che gli affreschi siano opera sua.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
