Il complesso del Castello di San Martino risale all'epoca longobarda, come fondazione, ma le strutture esistenti sono più tarde. Rinnovato nelle diverse epoche è un insieme di elementi architettonici ed interventi i più importanti dei quali si riferiscono al XV e XVCI secolo.

Il castello è residenza vescovile a partire dalla fine del X secolo quando il Vescovo aveva il titolo anche di Conte, titolo che gli verrà tolto solo nel 1768. Il castello nella struttura militare antica, era punto focale di un sistema di vedette che avevano i punti di vista sulle cime delle colline.