Le prime testimonianze documentarie che attestano l’esistenza dell’edificio risalgono alla prima metà del Quattrocento, quando in una minuta notarile viene citato l’Ospedale, probabilmente identificabile con l’edificio in questione, situato nel caseggiato appartenente al monastero di Civate. La Casa del Pellegrino in origine era quindi un luogo di ricovero sia per i malati che per viandanti e pellegrini.

La Casa del Pellegrino si compone di tre parti principali: il settore quattrocentesco situato a nord; la porzione centrale, successiva, con ampi saloni con soffitti lignei ed eleganti archi ogivali; la porzione dei primi del Novecento, a meridione. Al primo piano dell’edificio si trovano due camere “pictae” che presentano uno straordinario ciclo di affreschi cortesi con scene di caccia e d’amore della seconda metà del XV secolo.