La chiesa fu eretta nel XV secolo dalla comunità di Castello di Panicale; verso la metà del secolo fu utilizzata per ospitare le persone affette dalla peste che già dilagava nel secolo XV. Ancor oggi sull'architrave del portale si legge la scritta “ECC[LESI]A S[ANC]TI SEBAST[IAN]I C[AST]RI PANICALIS.
All'interno in origine era preceduta da un portico del quale rimangono solo due arcate. È una chiesa emblematica e di interesse artistico, in quanto all'interno è sito il famoso affresco del Martirio di San Sebastiano dipinto da Perugino.
Nei primi del XVII secolo fu poi ceduta ai gesuiti e infine acquistata dall'Ordine delle Vergini Marie per poter disporre di una struttura rivolta all'istruzione delle giovani fanciulle.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
