L'attuale palazzo risale alla metà del XVIII secolo, quando, dietro incarico di Monaldo, il canonico Carlo Orazio Leopardi, prozio del poeta e valente architetto dell'epoca, riunì in un unico nucleo i vari edifici in cui la famiglia aveva abitato ininterrottamente fin dal secolo XIII. A Carlo Orazio si devono in modo particolare la facciata del palazzo, in sobrio stile neoclassico, e lo scalone interno, considerato uno tra i suoi migliori interventi sugli edifici della città.

L'intero primo piano dello stabile è occupato dalla famosa biblioteca, fonte di sapere per Giacomo Leopardi ed i suoi fratelli, che custodisce più di 20.000 volumi, raccolti da Monaldo e dal suo figlio più giovane Pierfrancesco, ed è l'unica parte accessibile al pubblico dell'edificio. I piani superiori, infatti, sono ancora oggi abitati dai discendenti di Pierfrancesco, l'unico dei Leopardi ad avere avuto prole. È possibile l'apertura alle visite anche di una parte del piano di rappresentanza e dell'appartamento del poeta.

Il piano nobile si compone di eleganti sale con soffitti affrescati, pareti decorate e arredi risalenti al periodo compreso tra il XVI e il XIX secolo. In queste "sale antiche" Giacomo ha trascorso la sua infanzia insieme ai fratelli e in una di esse, ancora oggi, è possibile osservare i "figurati armenti": quattro grandi tele, attribuite al pittore tedesco Rosa Da Tivoli, rammentate dal poeta ne Le Ricordanze. Visitabile anche la "Sala dell'Accademia" dove Monaldo, il padre di Giacomo, era solito radunare i membri dell'Accademia Letteraria dei Diseguali Placidi, già presente a Recanati nel XV secolo e da lui ripristinata nei primi anni dell'Ottocento.

Nella parte orientale del palazzo, in un appartamento che Giacomo condivideva con il fratello Carlo Orazio, si trova la sua camera da letto. La stanza, semplice, è stata conservata intatta così come era all'epoca di Leopardi.

Il piano seminterrato dell'edificio ospita l'ex frantoio, dal 1995 utilizzato come sede espositiva per importanti mostre su Giacomo Leopardi. Accanto ai locali dell'ex frantoio si trovano le antiche cantine del palazzo. Attualmente ospitano un piccolo punto vendita dove è possibile acquistare i vini prodotti dai Leopardi, un'esposizione di botti, antichi strumenti di vinificazione e sono visitabili gratuitamente.