I Cattabeni, originari di ferrara, si imparentarono, grazie al matrimonio del cavalier Flaminio (1546-1603), con i Seta-Rufo, dai quali ereditarono il sontuoso palazzo cinquecentesco, dalla splendida facciata a bugnato, diventato nel 1613 la nuova sede del Monte di Pietà. L'edificio conserva pregievoli soffitti a cassettoni, cortile con vera da pozzo, scala a chiocciola, cappella gentilizia affrescata a grottesche. Alla morte di Eleonora Rufo (1559-1609), i mobili, i corami, i quadri (oltre un centinaio), l'argenteria e quant'altro furono portati a Pesaro alla Corte dei Della Rovere.

Il palazzo, oggi sede della Fondazione di Pietà, è visitabile dietro preavviso.