Immersi in una fitta vegetazione si ammirano parti delle mura dell'antica rocca che circondano il palazzo costruito nel seicento.

I ruderi della Rocca (sec. XI-XV) sovrastano su di un colle l'intera città.

Esisteva qui una torre, prima della fondazione di Pergola, che fu ampliata dal duca Federico da Montefeltro dopo il 1459.

Per fare ciò fu incaricato l'architetto senese Francesco di Giorgio Martini, il quale realizzò una fortificazione imponente e inespugnabile.

Agli inizi del XVI secolo il duca Guidubaldo da Montefeltro ordinò di demolire la Rocca di Pergola.

Nel 1565 si iniziarono i lavori per edificare un convento dedicato a Santa Vittoria ma per mancanza di fondi il progetto rimase incompiuto.

Oggi si possono ammirare Palazzo Fulvi Cittadini di aspetto ottocentesco, due torrioni diroccati, la cerchia di mura perimetrali, la presunta camera del delitto Varano con affreschi del XVII secolo, parte dei sotterranei con volta a botte e la Cappella Gentilizia con tele di Curzio Savonanzi dipinte nel 1705. Da qui si gode una vista panoramica che spazia sull'intero centro storico.