Fu costruito nella seconda metà del XVI secolo per iniziativa del marchese Ranieri Del Monte. Secondo alcuni, il progetto è attribuibile all'architetto Filippo Testi, secondo altri al matematico ed architetto Guidubaldo Del Monte. Acquistato in seguito da Marcantonio Gozze, il palazzo divenne nel 1715 proprietà dei Baldassini, quando la figlia di Marcantonio, Chiara Gozze, sposò il marchese Francesco Maria Baldassini.

La facciata è rimasta incompiuta con i mattoni a vista e le finestre prive delle riquadrature in pietra, pur presenti in alcuni vani del pianterreno e dello scantinato.

Il bel portale d'ingresso di fine 500 è sormontato da un elegante balcone di stile veneziano, con pregevole ringhiera in ferro battuto di epoca più tarda.