Una primitiva costruzione risale, con ogni probabilità, al IX secolo, posta a guardia sopra il piccolo rilievo collinare dietro il centro storico di Rivoli; un primo documento scritto è del 1159, in un diploma con il quale l'imperatore Federico I Barbarossa cedeva i territori rivolesi ai vescovi di Torino. Tuttavia, sul finire del XII secolo, i Savoia ne presero possesso, in quanto posizione strategica tra Torino e la Val di Susa.

Tutto il complesso fu concepito a pianta rettangolare, quindi sviluppato in altezza, partendo da un piano rialzato rispetto alla base, a sua volta sovrastato da altri due piani. Nelle stesso periodo venne realizzata la cosiddetta Manica Lunga. Si tratta di un edificio più basso e distaccato dal castello, connesso soltanto da un passaggio pedonale, molto stretto e lungo ben 120 metri in direzione sud-ovest-ovest. La Manica serviva come luogo di rappresentanza, pinacoteca sabauda, scuderie e alloggi per la servitù.

All'inizio del XVIII secolo, sia il castello che la Manica vennero incendiati e saccheggiati dai francesi, a causa della guerra di successione spagnola. Dopo l'assedio del 1706, Vittorio Amedeo II di Savoia riprese il possesso dei territori e ordinò la ristrutturazione dei danni subiti, affidando dapprima i lavori ad Michelangelo Garove, che ingrandì la "Manica Lunga", poi, dopo la morte di questi, ad Antonio Bertola. Quest'ultimo seguì i cantieri ancora per tre anni, finché non intervenne Filippo Juvarra nel 1716; il celebre architetto infatti, aveva in mente un grandioso progetto, ma i lavori non furono completati. Furono finiti soltanto gli ampliamenti delle due ali simmetriche orientali, ma fu lasciata una facciata incompiuta.