La Cripta rappresenta il nucleo più antico del complesso architettonico. Si tratta di una piccola cappella gentilizia che tuttavia non ha mai accolto i defunti della famiglia Rasponi, suddivisa in tre ambienti: quello di accesso s'innesta alla base di una torretta neogotica (fine XIX secolo); un vano conserva una sfera di pietra con l'iscrizione "sic vita pendet ab alto"; infine, l'ultima stanza accoglie un piccolo altare per le funzioni religiose. La parte più significativa della cripta è costituita dal pavimento a mosaico, proveniente dalla Chiesa di San Severo (Classe) e databile al VI secolo. È decorato con motivi ornamentali e figure animali (galline, anatre, oche, teste di ariete e serpenti), raffigurati in atteggiamenti spontanei e vivacizzati dall'uso di smalti che ne esaltano la ricchezza cromatica.

ll Giardino, arricchito da una bella fontana e dalla torre neogotica, presenta anche una parte pensile prospiciente Piazza San Francesco, dalla quale è possibile accedere al contiguo terrazzo sopra il voltone (1839), in passato usato come collegamento tra Palazzo Rasponi e le scuderie e i magazzini.