Il castello di Fabbri è stato innalzato intorno al XIV secolo come struttura di difesa del territorio dell'ex-Ducato di Spoleto, oramai gestito dal cardinale Albornoz. Alla fine del secolo passò sotto la giurisdizione dei Trinci di Foligno, chiamato Bastida Fabrorum. Alla fine della dinastia dei Trinci (Corrado XV) passò ai trevani. Nei secoli successivi appartenne alla piccola comunità di Cannaiola, ma dal 1820 passò definitivamente a Montefalco.

Il castello, di pianta romboidale, è dotato di mura merlate, bastioni, fossato e ponte levatoio. Il mastio principale, alto 20 m, venne costruito nel 1395 da Gregorio da Cerreto. Dello stesso autore, la torre di Matigge, con cui si dice esista un leggendario collegamento sotterraneo.