Il castello si trova sopra una collina a 956 m s.l.m., nei pressi del centro abitato di San Martino nel territorio comunale di San Lorenzo di Sebato. Il castello fu eretto attorno all'anno 1165, in stile romanico, e oggi ne restano soltanto alcuni ruderi, in buono stato, ma non è comunque visitabile.

Nella storia il castello è stato un feudo dei principi vescovi di Bressanone. In seguito passò ai Conti di Andechs, ai Conti di Gorizia, ai Conti di Tirolo nel 1500 e successivamente nel 1678 ai Künigl. Durante la sua vita, la fortezza ha subito alcune modifiche nella struttura, ad esempio fu costruita una seconda torre, e nel XVI secolo fu eseguito un completo restauro. Attualmente il castello si presenta con le mura che cingono la costruzione attorno ad un cortile centrale, caratterizzata da due torri ravvicinate.