Il complesso, un tempo circondato da fossati, è composto da più corpi edificati tra l'XI e il XVII secolo, e fu abitato dai Pio dal XIV al XVI secolo. Tra i corpi di fabbrica unificati a più riprese si contano l'Uccelliera, la torre del Passerino (o del Bonacolsi), la facciata centrale, le stanze del vescovo, la torre dell'orologio, il torrione degli Spagnoli (o di Galasso), le rocche vecchia e nuova. L'impulso decisivo fu dato da Alberto III Pio che trasformò la rocca medievale in una residenza in stile rinascimentale nel XVI secolo.
La lunga facciata sulla piazza si caratterizza per un aspetto rinascimentale, con resti di affreschi di Giovanni del Sega (1506) al piano superiore, dove si aprono finestre e nicchie separate da paraste. Al centro si leva la seicentesca torre dell'Orologio, che ricorda vagamente il castello Estense di Ferrara, mentre a nord il bastione cilindrico è detto "torre dell'Uccelliera", risalente al 1480, e vicino alla torre merlata di Passerino Bonacolsi, più antica (1320). All'altra estremità il torrione di Galasso Pio, realizzato entro il 1450, e decorato da terrecotte e pinnacoli.
Si accede al complesso dal vestibolo sotto la torre dell'Orologio, per arrivare a un grande cortile centrale ispirato ai modi del Bramante: porticato su quattro lati, presenta archi a tutto sesto retti da colonne marmoree dagli interessanti capitelli, soprattutto sul lato sinistro per chi entra. Le decorazioni in cotto vennero ripristinate nel 1874. A destra si accede allo scalone monumentale a doppia rampa con collegamento fatto da un ballatoio a cupola.
All'interno del castello si trovano i musei civici, ordinati in più sezioni: il Museo civico Giulio Ferrari, il Museo della Città, l'esposizione di xilografie di Ugo da Carpi, l'omaggio a Blumarine di Anna Molinari e altre sezioni didattiche e storiche.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
