La costruzione dell'attuale palazzo risale al 1865, anno in cui fu abbattuta la fatiscente rocca (opera di Francesco di Giorgio Martini), saccheggiata ed incendiata nel 1797 dai francesi.

L'attuale palazzo ha un aspetto goticheggiante con merlatura ghibellina. Il borgo che circonda il palazzo sorge sulla cinta muraria costruita nel XV sec.