L'imponente costruzione cinquecentesca domina l'abitato di Gradoli. Il palazzo, conserva sontuose stanze affrescate ed ospita al suo interno il Museo del Costume Farnesiano: una raccolta di abiti rinascimentali, armi e utensili. Nella stessa sede è ubicato il Centro Nazionale di Studi sulla Famiglia Farnese.

I lavori per la costruzione del palazzo iniziarono nel 1517 quando il cardinale Alessandro Farnese commissionò all'architetto Antonio da Sangallo il Giovane il progetto per una nuova residenza da realizzare abbattendo il vecchio castello medievale del paese. Il palazzo, dono di nozze a Pier Luigi Farnese e a sua moglie Gerolama Orsini, diventò la sede estiva di papa Paolo III (che amava molto il clima salubre di Gradoli) e fu impiegato dai Farnese come loro residenza per le vacanze.

Vi soggiornarono Giulia Farnese, il cardinale Alessandro Farnese il Giovane, il cardinale Odoardo Farnese, la duchessa d'Urbino Vittoria Farnese e Margherita Aldobrandini, duchessa di Parma. Fu visitato anche da alcuni artisti e letterati al servizio della famiglia: fra questi Giorgio Vasari e Annibale Caro.

Il palazzo si presenta sullo stile dei palazzi-fortezza del Rinascimento italiano con contrafforti angolari su tre lati, brillante soluzione ideata da Sangallo per risolvere i problemi di staticità delle fondamenta dell'antico castello. Il piano nobile conserva la sontuosa "Sala Ducale" decorata con affreschi a grottesche, la Sala del Loggione, la Sala dei Filosofi, la Sala delle Udienze. Gli affreschi sono stati attribuiti ai pittori Giovanni da Udine e Perin del Vaga ma altri storici dell'arte vi hanno riconosciuto il tratto tipico degli allievi della bottega di Raffaello.