Palazzo Rospigliosi, voluto da Giovan Battista Rospigliosi detto Bati (1511-1566) fu costruito tra la metà del Cinquecento e i primi del Seicento. Sorge su edifici preesistenti, quali le case torri della famiglia Dondori e un palazzo trecentesco di proprietà (forse) della famiglia dei Tebertelli (dopo il restauro degli anni venti la facciata mostra tracce delle origini dell'edificio). Il palazzo fu lasciato alla Cattedrale di Pistoia nel 1981 dall'ultimo discendente, Clemente, con l'onere di destinare perpetuamente a museo l'appartamento situato al primo piano e denominato "di papa Clemente IX".
Al museo si accede da uno scalone d'onore e dopo aver varcato un cancello in ferro battuto. Al piano terra si trova un'esposizione permanente detta "Museo del ricamo". Alla fine degli appartamenti monumentali ha inoltre sede il Museo diocesano, comprendete opere provenienti da chiese della zona e una nutrita sezione di arte dell'estermo oriente.
Questo museo è la splendida residenza dell’ultimo discendente della nobile famiglia, Clemente Rospigliosi, il quale morì nel 1981 lasciandola per testamento alla Cattedrale di Pistoia con la volontà che l’appartamento, denominato di Papa Clemente IX (Giulio Rospigliosi), il quale fu ospite in questa residenza, fosse destinato a Museo. Il piano nobile di Palazzo Rospigliosi, dove è situato l’appartamento di Clemente Rospigliosi Sozzifanti, conserva intatto il lussuoso arredo seicentesco che si vuole fosse stato allestito per ospitare dignitosamente il papa pistoiese.
Le sale del Museo Clemente Rospigliosi mostrano una notevole ricchezza e cura nell’integralità dell’arredo seicentesco, con mobili elaborati ed una ricca raccolta di dipinti. Tutte le opere del museo si trovano esposte tra le lussuose pareti tappezzate di damasco, i soffitti a cassettoni e gli affreschi, risalenti al periodo del sei-settecento, che decorano le stanze del palazzo.
