Fu fatto costruire da Alessandro Barignani nel 1530 nella fascia di terreno retrostante il palazzo ducale, dove un tempo insisteva l'antica cinta muraria, distrutta durante la guerra gotico-bizantina e frettolosamente risarcita ai tempi di Belisario con marmi, epigrafi, statue e frammenti architettonici raccolti da ogni parte: nel gettare le fondamenta della nuova residenza della famiglia Barignani venne infatti alla luce la bella statua greca di bronzo (V sec.) comunemente detta "idolino di Pesaro" e considerata oggi uno dei reperti di maggiore rilievo del Museo Archeologico di Firenze; il Museo Oliveriano di Pesaro ne conserva una copia romana.

Antistante al palazzo si apre un cortile con portico a due arcate a pieno sesto di chiara ispirazione cinquecentesca.