La costruzione ha forma di quadrilatero ed è dotata di alte muraglie fortemente scarpate. Dal recinto si innalzano due torri, la più grande, sia come solidità che altezza, aveva funzioni di cassero, l'altra, posta nell'angolo opposto, difendeva la sottostante porta di accesso alla città. Tutto il complesso era dotato di apparato difensivo a sporgere su beccatelli, ancora oggi quasi intatto, e merlatura perlopiù scomparsa.

Dopo secoli di decadenza e abbandono, l'edificio ha subito due importanti restauri dal 1962 al 1970 e negli anni Novanta, dopo essere divenuto proprietà del comune. Oggi, grazie all'individuazione di spazi espositivi, ospita mostre d'arte.