La casa natale di Raffaello fu costruita nel XIV secolo. Il padre di Raffaello, Giovanni Santi la acquistò nel 1460. Lo stesso Giovanni Santi fu umanista, poeta e pittore alla corte di Federico da Montefeltro,e proprio lì il giovane Raffaello apprese le prime nozioni di pittura.

Nel 1637 l'edificio, dopo vari passaggi, acquisizioni e divisioni, venne acquistato e riunito da Muzio Oddi, architetto locale, e nel 1837 divenne sede dell'Accademia Raffaello, fondata nel 1869 da Pompeo Gherardi e promotrice di numerose iniziative e studi sul Sanzio.

Il primo piano è stato arredato con mobilio d'epoca, che dà l'idea della casa-museo. Nel salone principale vi è un pregevole soffitto ligneo policromo a cassettoni e vi sono stati collocati dei dipinti di Giovanni Santi; nelle stanze adiacenti troviamo altri dipinti coevi, riproduzioni di tavole dello stesso Raffaello e la cucina com'era al tempo. Spicca tra tutte la stanza da letto dove forse il pittore nacque, con la Madonna di Casa Santi, una Madonna col Bambino attribuita al giovanissimo Raffaello, che inizierebbe la sua famosa serie di Madonne. Sempre al primo piano un cortiletto tipico urbinate con pozzo e la pietra dove la tradizione vuole si macinassero le pietre per i colori della bottega, situata al piano terra.

Altre opere esposte sono un disegno di Raffello, un altro attribuito a Bramante e una raccolta di ceramiche rinascimentali urbinati, famose in tutto il mondo. Al secondo piano aveva sede l'Accademia, che conserva oggi in altro luogo una biblioteca di manoscritti ed edizioni rare; infatti qui, oltre a una serie di copie di dipinti del "divin pittore" ha lasciato una raccolta di monete e di ritratti del XIX secolo, che ne documentano la storia e la fondazione. Tramite un particolare ballatoio si ha modo di passare sopra il cortiletto e accedere alla parte retrostante della casa, dove ci sono altre scale che riconducono di sotto.