A Casteldurante - l'odierna Urbania - esisteva un complesso fortificato (rocca-abitazione) eretto dai Brancaleone ed ubicato lungo l'ansa settentrionale del fiume Metauro.

Cacciati i Brancaleone, Federico da Montefeltro intraprese i lavori per modificare radicalmente tale residenza fortificata, in parte demolendola, ed in parte trasformandola in un vero e proprio palazzo ducale.

Nel suo fronte più suggestivo, peraltro - quello sul fiume - anche da tale manufatto traspare comunque quell'immagine difensiva sempre presente nella mente del committente, con una difesa garantita soprattutto dallo strapiombo sul Metauro.

Tale lungo fronte scarpato a strapiombo si presenta ancor oggi, agli occhi del visitatore, stretto fra i volumi di due caratteristici torrioni: semicilindrico quello di sinistra e cilindrico l'altro, che racchiude al suo interno una bella scala a lumaca in cui si è giustamente voluta vedere la mano di Francesco di Giorgio Martini.

Integrato dalla caratteristica galleria pensile che sovrasta la fascia dei beccatelli, tale fronte si raccorda agli altri lati del palazzo, organizzati attorno a due cortili, il più grande dei quali presenta un impianto porticato proto-rinascimentale a snelle colonne dagli eleganti capitelli compositi attribuiti a Giorgio Orsini da Sebenico.

L'edificio subì comunque anche successivi interventi ad opera di Gerolamo Genga e fu la sede prediletta dell'ultimo duca d'Urbino, Francesco Maria II Della Rovere, che vi chiuse i suoi giorni nel 1631.

Attualmente le sue belle sale e saloni (sala di lettura, sala del trono, sala dei cavalieri, sala delle geografia, ecc.) ospitano le raccolte librarie e d'arte della Biblioteca Comunale, della Pinacoteca e del Museo di cui fanno parte due preziosi globi del Mercatore (sfera terrestre del 1541 e sfera celeste del 1551), rare pergamene, circa duemila incisioni e ben 746 disegni dei secoli XV-XVII già facenti parte delle raccolte ducali.