Sotto la chiesa di San Giovanni Battista si trova la cosiddetta "Grotta della Sibilla", che la tradizione collega quale sepolcro o quale dimora alla Sibilla Cumana o alla Sibilla Sicula o Sibilla Lillybetana. Nel corso dei secoli la "Grotta" divenne parte integrante dell'edificio di culto sub divo con essa comunicante. La Grotta, che si trova a -4,80 m, è costituita sostanzialmente da un vano centrale, di forma circolare, connesso con due ambienti, uno orientato a Nord, l'altro ad Ovest.

Il vano centrale, scavato nella roccia fino ad una certa altezza, è coperto da una cupola bassa, costruita in muratura, con lucernario collegato con il pavimento della chiesa. Il centro dell'ambiente è occupato da una vasca quadrata, non molto profonda, servita d'acqua, dove un tempo i primi cristiani fecero il battesimo. L'ambiente settentrionale, interamente scavato nella roccia, presenta una forma semicircolare ed è absidato. A livello del pavimento, sgorga una sorgente che alimenta la vasca dell'ambiente centrale. Davanti alla cavità si erge una grande altare di pietra con una immagine di marmo di san Giovanni Battista di altissimo rilievo, databile nel secolo XV.

L'ambiente occidentale, pure scavato nella roccia, di forma irregolare, venne probabilmente ricavato in parte da un pozzo di cui si osserva il taglio sulla destra della parete absidata (su tale incavo si favoleggiò in passato ritenendolo addirittura il lettuccio della Sibilla Cumana). Il soffitto, piano, presenta due lunghi mensoloni di sostegno, risparmiati nella roccia.