Il palazzo, risalente all'epoca aragonese, è distribuito su tre livelli e ha pianta ad U, che racchiude una corte centrale sistemata a giardino, secondo lo stile all'italiana. Tale spazio accoglie un notevole patrimonio botanico, caratterizzato da specie mediterranee ed esotiche rappresentate da esemplari plurisecolari, un laghetto e una serie di elementi scultorei (un pozzo, nove fontane, un obelisco, un tempietto ionico a pianta circolare) a rievocazione del mondo classico. Si ritrovano, in particolare, quinte topiate di Laurus nobilis e Quercus ilex, una collezione di lavande (angustifolia, vera, dentata etc), moltissime specie di rose, Myrtus e Wisteria (glicini).

L'attuale sistemazione paesaggistica è opera dell'architetto inglese Peter Curzon; circa l'impianto originario è controversa l'attribuzione, oggetto di disamina da parte dei critici e degli storici dei giardini. Nel 1969, Pier Paolo Pasolini utilizzò il palazzo per girarvi la novella di "Riccardo e Caterina" del suo Decameron.