La basilica di San Saba prende nome dal monastero e relativa chiesa che furono per secoli, dopo la caduta dell'Impero romano d'Occidente, l'unica presenza abitata della zona. La tradizione li collega a san Gregorio Magno e a sua madre santa Silvia, che vi avrebbero dimorato nel VI secolo. Accertata è invece la presenza di alcuni eremiti che, nel VII secolo, si sarebbero insediati sulle rovine di quella che probabilmente era stata la caserma (statio) della IV coorte dei vigili, opportunamente collocata in un luogo da cui si poteva dominare con lo sguardo gran parte del territorio a sudest della città, fra l'attuale Porta San Paolo e Porta San Sebastiano. Si trattava di monaci orientali, provenienti dalla comunità fondata a Gerusalemme da san Saba e in fuga dalla Palestina travagliata da guerre, stragi e dall'espansione islamica: preso possesso del sito, vi istituirono un monastero che acquisì rapidamente fama e prestigio.

Fra l'VIII e il IX secolo San Saba era considerato il monastero più importante di Roma, soprattutto perché in quei secoli i pontefici ne fecero il centro di irradiazione di una vivace attività diplomatica verso Costantinopoli e il mondo barbarico affidando ai suoi egumeni e abati importanti incarichi di ambasceria e negoziazione. Chiesa e monastero ricevettero così una ricca dotazione di suppellettili, una vasta decorazione di preziosi affreschi (molti oggi staccati a scopo conservativo) e, successivamente, veri e propri possedimenti come, fra gli altri, il castello di Marino (1253) e il castello di Palo (1330).

Intorno al X secolo la comunità sabaitica, sempre più ridotta, venne sostituita dai benedettini di Montecassino e, nel 1144, dai cluniacensi che vi introdussero la riforma dei monasteri. Al XII-XIII secolo risale la ricostruzione della chiesa nelle forme odierne, soprelevata rispetto alla precedente (oggi nei sotterranei, chiusi al pubblico) e molto più ampia. Nuovi interventi architettonici si succedettero nel XV, XVI e XVIII secolo, mentre il governo del complesso religioso fu affidato prima ai cistercensi (1503) e, dal 1573, al Collegio Germanico Ungarico retto dai gesuiti, che ne hanno ancor oggi la direzione.

Le architetture medievali della chiesa sono state almeno in parte ripristinate durante i restauri del 1900-1901 e del 1943, anche se la facciata originale è tuttora coperta da una disarmonica costruzione con portico settecentesco (i cui sgraziati pilastri hanno sostituito le colonne originarie), piano superiore con finestre rettangolari (al posto delle antiche bifore e monofore) e loggiato terminale del Quattrocento.