Il castello Grifeo ha una planimetria articolata su quattro lati, disposti attorno ad un cortile interno che presenta una pianta rettangolare. L'edificio è nel complesso una costruzione caratterizzata da torri e merlature: alcuni merli sono di tipo “guelfo”, cioè a forma di parallelepipedo e le sue mura sono spesse, realizzate con pietre tenute insieme da malta pozzolanica (tufo di colore grigiastro).

Il castello si sviluppa su un piano terra e un seminterrato. Dal portale del lato nord-est si accede al cortile interno a pianta rettangolare che consente, poi, di accedere ai vari ambienti; una scala coperta collega, invece, il cortile con il giardino collocato a un livello inferiore. Un altro ingresso, su cui è collocato lo stemma della famiglia Adragna, introduce nei locali baronali e un terzo ingresso (centrale), invece, sormontato dallo stemma Grifeo, dà accesso al salone più importante dell'edificio.

Il salone, detto anche “sala delle armi”, conserva un affresco del 1777 che raffigura 3 cavalieri cristiani durante la battaglia di Mazara. In primo piano è affrescato il Gran Conte Ruggero mentre sta per uccidere l'arabo Mokarta (o Mogat) e, al suo seguito, uno dei due cavalieri è identificabile con Giovanni I Grifeo il primo a ottenere il Feudo di Partanna dalle mani del condottiero normanno (l'evento è leggibile nello stesso scudo imbracciato da Giovanni, sotto alla figura araldica del Grifone). Il mare e una città fortificata, Mazara, luogo dello scontro, fanno da sfondo all'affresco.

Nel salone delle armi è stata allestita una pinacoteca costituita da pale d’altare provenienti da alcune chiese distrutte; tra queste un polittico della Madonna del Rosario del 1585 ad opera del fiammingo Simon de Wobreck. In questa pala il volto dei Santi e della Madonna raffigurati sono stati rovinati e volutamente non ripristinati da un successivo restauro.