Costruito su un colle della città a partire dall'VIII-IX secolo, in una posizione strategica, noto per aver ospitato nel 1485 la Congiura dei baroni. Ebbe due successivi ampliamenti, il primo nel 1110 ed il secondo nel 1400. Ha la forma di un parallelogramma, fiancheggiato da sette torrioni, alcuni quadrati (i più antichi), due bitorri e altre circolari, poste ai vertici della costruzione.
Il grande manufatto è edificato sulla sommità di una collina prospiciente il centro storico dal quale probabilmente era separato dal declivo naturale del pendio che chiaramente è stato modificato con terreno di riporto e la costruzione di un terrapieno per consentire il collegamento tra abitato e castello. Il nucleo originario è costituito da tre ali edificate ed assemblate secondo uno schema perfettamente quadrato di cui il quarto lato, rivolto verso l'abitato non è occupato da edifici ma era certamente definito da una cinta che conteneva l'ingresso.
La struttura ha torri circolari poste agli angoli intervallate da alcune torri quadrate mentre la forma triangolare di un recinto aggiunto sul lato non edificato, all'interno e all'esterno del quale si addossano successivi ampliamenti tra cui la chiesa completamente trasformata nel secolo scorso, è determinato dal rapporto con l'orografia dell'area. Al piano terra l'impianto è scandito da una serie di ambienti modulari coperti da volte a crociera mentre al piano superiore la scansione si ripete con coperture a botte a sesto rialzato nel settore meridionale e a crociera costolata nell'ala nord-occidentale. La presenza delle eleganti e slanciate costolature nell'area della residenza comitale unitamente ad una monofora tardo-gotica in un ambiente di raccordo, le piccole monofore della cappella, quella sottostante il loggiato secentesco e i due portali ogivali, uno per l'accesso al piano superiore e l'altro al pianoterra, confermano la datazione del nucleo originario del complesso ai primi decenni del sec. XIV. Il paramento esterno in pietrame locale in molte parti evidenzia interventi successivi seguiti forse a crolli o determinati da lavori di manutenzione che in alcune aree si presentano come vere e proprie sopraelevazioni che interessano le falde dei tetti la cui orditura è stata modificata: le ipotesi di un ampliamento, nel senso di un sopraelevazione di tutto il complesso, necessitano ovviamente di una verifica approfondita direttamente sulle strutture.
