La storia del Sacro Monte testimonia il fervore dei primi decenni del XVII secolo, allorquando i pellegrini di ritorno dalla Palestina poterono farsi promotori, sulla scorta della fama ormai raggiunta dal vicino Sacro Monte di Varallo, della costruzione di una "Nuova Gerusalemme" in terra propria.

Fu questo il caso di don Andrea Velotti, parroco di Graglia nel 1605. Questi, di ritorno dalla Terra Santa, si sentì stimolato a concepire l'idea di una "Palestina in Piemonte". Egli dunque, nel 1615, illustrò il progetto, che volle dedicare altresì alla memoria di San Carlo Borromeo (come quello di Arona, la cui costruzione era iniziata da pochissimo) in un testo con incisioni pubblicato a Milano: fu prevista la costruzione di ben 100 cappelle popolate di statue in terracotta dedicate a un'ampia gamma di temi biblici, dalla Genesi alle varie tappe della Vita di Cristo. Il disegno topografico prevedeva di occupare una vasta area, che partiva dalla località di Campra fino al colle San Carlo, comprendendo non una sola, ma molteplici alture, ribattezzate con i nomi dei monti citati dalla Bibbia.

Il progetto iniziò nel 1616, proseguendo con impegno per circa otto anni: a giudicare da quanto resta, furono erette in quegli anni almeno dieci cappelle, specialmente sparse lungo il sentiero del pendìo settentrionale. Si tratta di edifici a pianta quadrangolare, in verità piuttosto modesti. Prevedibilmente, l'ambizioso progetto non fu portato a termine; anzi, esso si fermò con la morte dello stesso don Velotti (1624).

Il completamento del Santuario fu compiuto dal 1760 al 1769 per opera dell'architetto Bernardo Antonio Vittone, mantenendo la pianta a croce greca e dimensioni di 44 x 33 metri, caratterizzata per il suo rustico e severo aspetto esterno con facciata in mattoni a vista, che contrasta con la sfarzosa decorazione barocca dell'interno. La cappella mariana, posta in prossimità del presbiterio, a tutti gli effetti in simile posizione e di esatte misure della già citata Santa Casa di Loreto, fu quindi dotata di una statua dedicata alla Madonna Nera, collegando così definitivamente il Santuario alla Nostra Signora di Loreto e al culto della Madonna Nera, già presente a Oropa e in altre località piemontesi.