Il maniero è situato alla pendice del dosso del Castel Beseno, ed è costruito su un enorme masso staccatosi dal Cengio Rosso, da cui il suo nome. Sin dal XIII secolo dipese dal Castel Beseno, in mano alla famiglia dei Da Beseno. Si trova in una posizione strategica: infatti ha segnato a lungo il confine tra i territori tirolesi italiani e il Principato vescovile di Trento, e tra questo e la Repubblica di Venezia. Quando i Veneziani tentavano di spingersi a Nord, tra il Quattrocento e il Cinquecento, vennero fermati dal Principato e dagli Austriaci con importanti battaglie campali che si svolsero nei pressi del castello.

Le sue sale presentano uno stile gotico. Al suo interno si possono trovare delle importanti testimonianze medioevali: è degna di nota la "Sala del Giudizio", ambiente rigorosamente gotico illuminato da finestre con la particolare forma a guelfo e ornato da affreschi quattrocenteschi.