L'edifico fu, in origine, residenza dei Conti Oliva, casata nobiliare il cui capostipite - un capitano agli ordini dell'imperatore Ottone III - ricevette in dono queste terre (assieme al titolo di conte) dallo stesso imperatore, nel momento in cui questi, nel 984 d.C., scese in Italia alla testa del suo esercito. 

Nonostante non si abbiano notizie certe, sembra che, in quest'epoca, a destra del voltone di accesso al castello, esista già una rocca con eminenti funzioni difensive a strapiombo sul fiume. 

In seguito, ottenuta l'investitura feudale del luogo da Papa Gregorio IX, gli Oliva continuarono, seppure con alcune brevi interruzioni, a mantenere il possesso del palazzo e a governare i territori circostanti per diversi secoli.

Nel 1445, in uno di tali momenti di interruzione del potere degli Oliva, il castello fu quasi completamente distrutto da Francesco Sforza.

Immediatamente dopo, però, venne ricostruito dal conte Carlo Oliva.

L'impianto attuale, pur risentendo di rimaneggiamenti ed adattamenti operati nel corso degli ultimi due secoli, ci mostra sostanzialmente gli esiti di tale opera di ricostruzione, la quale - nonostante l'aspetto esterno guerresco ed aggressivo - propone ora soluzioni eminentemente residenziali.

Del resto, benché certo l'edificio non si possa considerare un tipico esempio di architettura militare, lo sperone superstite della precedente fortezza, la massiccia torre quadrata sullo spigolo occidentale, le merlature ghibelline, i beccatelli, le caditoie e le feritoie superstiti, indicano chiaramente come non secondarie siano state le "preoccupazioni" difensive e militari che ne dettarono  la riedificazione, attribuita da alcuni a Francesco di Simone Ferrucci (1480).

Il palazzo merita una visita per il severo cortile con portico ad arcate e ballatoi sostenuti da pilastri, per il salone d'onore dalla grande volta a vela e per gli interessanti elementi decorativi (peducci, lavabi a muro, camini), testimonianza di una ricca vita di corte.

All'interno viene oggi ospitato un museo del lavoro contadino.

Nella campagna di Piandimeleto esiste anche un bel torricino isolato a pianta circolare con cordolature aggettanti in mattoni che alcuni hanno voluto attribuire a Francesco di Giorgio Martini. 

Studi recenti, tuttavia, tendono ad escludere tale possibilità, per la mancanza di qualsiasi potenzialità reattiva e di difesa, tipiche invece delle torri cilindriche ideate dal Martini.

Il Palazzo ospita il Museo di Scienza della terra, il Museo di Arte contadina, il Museo dell'Araldica