Il castello fu edificato nel 1241, allora nel territorio della diocesi di Coira, da Wilhelm Tarant al servizio del Conte Alberto III di Tirolo. Nel tempo fu diverse volte distrutto e quindi ricostruito. Il castello deve probabilmente il suo nome ad una sorgente, che poteva essere esistita nelle vicinanze del castello; anche le attestazioni del castello come Prunnenberch nel 1285 e Brunnberg nel 1437 fanno propendere per tale etimologia. Un'altra ipotesi fa derivare il nome del castello da quello di uno dei suoi numerosi proprietari.

Nel 1955 il castello fu acquistato dal principe Boris de Rachewiltz (professore ed egittologo), che nel 1946 aveva sposato Mary, la figlia del poeta statunitense Ezra Pound e di Olga Rudge. Pound vi risiedette dal 1958 fino alla sua morte. Nel periodo che trascorse al castello, il poeta compose gli ultimi 6 dei suoi 116 Cantos.

Diventato il Museo agricolo Brunnenburg (Landwirtschaftsmuseum Brunnenburg) nel 1974, il castello illustra usanze e modi di lavoro dei contadini della zona, ed è attualmente visitabile ogni giorno, da aprile ad ottobre.

Il castello ospita pure un Ezra Pound Center for Literature, legato alla University of New Orleans (USA).