Il palazzo, detto anche Pontificio, venne commissionato da Enea Piccolomini, ovvero papa Pio II, a Bernardo Rossellino, nell'ambito del progetto della ricostruzione di Pienza come città ideale. Progettato nella seconda metà del XV secolo (dopo il 1459), per la sua realizzazione il Rossellino si ispirò al Palazzo Rucellai di Firenze, opera del suo maestro Leon Battista Alberti. Il palazzo è uno dei primissimi esempi di architettura rinascimentale.
Il palazzo è a pianta quadrata, sviluppato su tre piani, realizzato in pietra viva lavorata finemente in un leggero bugnato, dal basso fino alla sommità. Al primo e secondo piano presenta due ordini di finestre di notevole ampiezza, equidistanti l'una dall'altra, con lesene e profilature con i conci sporgenti. Ciascuna finestra è divisa in due parti da una sottile colonna. Al di sotto delle finestre, come ad evidenziare i solai interni, una cornice corre gli angoli e tra alcune finestre fanno bella mostra gli stemmi di famiglia, in pietra, con le insegne apostoliche in oro e argento. Sulla facciata nord si trova il grandissimo portale che costituisce l'entrata principale del palazzo. All'interno il palazzo racchiude una corte anch'essa rettangolare con un loggiato sostenuto da colonne di pietra.
Il giardino, che occupa lo spazio nel lato sud dell'edificio, è piccolo, ma rappresenta una parte integrante del progetto. La piccola area terrazzata domina l'intera Val d'Orcia, mantenendo, nonostante recenti elaborazioni, le caratteristiche proprie dei giardini del Rinascimento. È circondato su tre lati da alti muri in pietra ricoperti d'edera, mentre sul lato prospiciente al Palazzo è delimitato da una loggia a tre ordini d'arcate. Un elaborato sistema di condotti di scolo impedisce che l'acqua piovana penetri negli ambienti sottostanti coperti da volte, al cui interno erano un tempo ricavate le stalle.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
