Il palazzo fu fondato alla fine del XV secolo dai nobili Pesaro, che vi abitarono fino al XVIII secolo, prima di trasferirsi a Ca' Pesaro. Il palazzo divenne per un certo tempo sede dell'Accademia Filarmonica degli Orfei, da cui il nome Palazzo Pesaro degli Orfei con cui fu in seguito conosciuto.

Mariano Fortuny, che lo acquistò all'inizio del XX secolo per farne il proprio atelier, fu un uomo eclettico che si occupò di fotografia, scenografia e scenotecnica, creazione di tessili, pittura.

Dopo la sua morte, la moglie Henriette donò il palazzo, che ancora ben conservava i tessuti e le collezioni di Mariano, al Comune di Venezia (1956) che ne fece il luogo dedicato ad occuparsi delle discipline di comunicazione visiva, particolarmente di sperimentazioni e innovazioni, in assonanza con lo spirito e la cultura del vecchio proprietario.