La costruzione cominciò nel 1610 per volontà dell’omonima confraternita mariana. L'Oratorio presenta uno straordinario soffitto a cassettoni (15, per l'esattezza), intagliato e decorato in oro zecchino e argento dallo scultore francese Leonardo Scaglia, artista specializzato nella scultura e decorazione del legno, che lo ultimò nel 1643. Alle pareti, il ciclo di tele, dedicato alla vita della Vergine e sovrastante il coro in noce, è opera di Francesco Bastari (inizio XVII sec.), mentre la pala d’altare è dell’urbinate Antonio Viviani, detto il sordo, e rappresenta l’Annunciazione della Vergine.