La grotta dello Specus Martyrum fungeva all'inizio da catacomba per i santi martiri che vi si trovano e per i fedeli cristiani che si nascondevano all'interno per pregare. Con l'Editto di Costantino, nei secoli successivi, fu costruita una scala d'accesso. Nello specus furono traslate i resti mortali di San Sabino di Avellino (vescovo di Abellinum nelle prime decadi del VI secolo) il 16 settembre 1612. Nel 1629 fu costruita un'altra scala di accesso alla grotta, che parte dalla chiesa di origine paleocristiana che la sovrasta. Sempre in tale periodo, le volte della cappella furono affrescate con dipinti raffiguranti la vita dei primi martiri cristiani e dei santi più vicini all'Irpinia.

La Cappella del tesoro fu costruita nel primo settecento per volere del Barone di Donato al fine di conservare in piccole urne i resti mortali dei santi martiri (le tombe site nello spazio davanti all'altare maggiore, dove riposa San Sabino, sono vuote). Un altro elemento di grandissimo interesse è un quadro, a fianco della cappella del tesoro, che rappresenta in tre momenti il martirio di Sant'Ippolisto cui è dedicata la chiesa. La volta centrale dello Specus cedette per ben due volte: dopo la costruzione della seconda scala e dopo il terremoto del 1980. La piccola cappella è consacrata, ma talvolta si tengono anche piccoli concerti cameristici ed è possibile accedervi, quando non ci sono particolari ricorrenze civili o religiose, dalla chiesa di Sant'Ippolisto.