La dimora, costruita nel XV secolo venne acquistata nel 1460 dal padre di Raffaello, Giovanni Santi (1435 - 1494) umanista, poeta e pittore alla corte di Federico da Montefeltro, che vi organizzò la propria bottega dove Raffaello (1483-1520) apprese le prime nozioni di pittura.

Acquistata nel 1635 dall'architetto urbinate Muzio Oddi, passò nel 1873 all'Accademia Raffaello che, fondata nel 1869 da Pompeo Gherardi ne divenne gelosa custode, promuovendo ricerche, opere e studi relativi alla figura del grande pittore urbinate.

Al primo piano si apre un'ampia sala con soffitto a cassettoni dove è conservata l'"Annunciazione", tela di Giovanni Santi, assieme a copie ottocentesche di due opere realizzate da Raffaello: la "Madonna della Seggiola" e la "Visione di Ezechiele".

In una piccola stanza attigua, ritenuta la stanza natale del pittore, è collocato l'affresco della "Madonna col Bambino" attribuito dalla critica ora a Giovanni Santi, ora a Raffaello giovane. Di particolare interesse sono un disegno attribuito a Bramante (1444 - 1514) e la raccolta di ceramiche rinascimentali, deposito temporaneo della Collezione Volponi.

Al piano superiore, sede dell'Accademia, sono conservati manoscritti, edizioni rare, monete, ritratti: tipici esempi della cultura ottocentesca con significato rievocativo e celebrativo.