La basilica fu fondata da Silvestro I su un terreno donato da un esponente della famiglia degli Equizi (da cui il nome di Titulus Equitii) nel IV secolo. Agli inizi era un oratorio dedicato a tutti i martiri. Si sa che un incontro preparatorio del Primo concilio di Nicea fu tenuto qui nel 324. L'attuale chiesa di San Martino ai Monti data dall'era Carolingia, ma una struttura colonnata del III secolo è stata individuata sotto ed accanto ad una chiesa posteriore.

L'interno ha tre navate con colonne antiche. Una lampada votiva d'argento è conservata nella sacrestia: si ritiene che sia stata fatta con la tiara di San Silvestro. Sotto l'altare si trovano le reliquie dei santi Artemio, Paolina e Sisinnio, traslate qui dalle catacombe di Priscilla. Un mosaico raffigurante Madonna con San Silvestro è del VI secolo.

Sulla parete della navata sinistra sono raffigurati gli interni della basilica di San Giovanni in Laterano (dipinto murale attribuito a Gaspard Dughet, 1635-1640) e della basilica di San Pietro (affresco cinquecentesco di Filippo Gagliardi, così come apparivano all'epoca in cui furono rappresentati.