Risalente al periodo normanno ma ampiamente rimaneggiato nel corso dei secoli. Nel corso dell'XI secolo, Pecicco de Trebigne divenne il primo feudatario della baronìa di Ugento, mentre durante il periodo angioino, quando il castello divenne regio (1272), fu retto da Giovanni Conte. Oggetto di numerose trasformazioni nel corso dei secoli XVI e XVII, il maniero fu ulteriormente rafforzato quando Ugento venne elevata a capo di Contea da Giovanni Antonio Orsini del Balzo. Nel 1537, a seguito dell'occupazione della città, il fortilizio fu gravemente danneggiato con la completa distruzione di buona parte dell'ala occidentale, di due torri e del torrione di tramontana. Toccò prima ai conti Pandone (1564) e, successivamente, ai marchesi d'Amore (1643) riportarlo agli antichi fasti.
Alla committenza dei primi sono verosimilmente da ascrivere gli accomodi apportati ai due torrioni circolari, che furono adeguati per ricevere i pezzi di artiglieria utilizzando le scarpe di quelli angioini. Con i d'Amore, tra Sei e Settecento, l'edificio subì una radicale e definitiva trasformazione da struttura fortificata a palazzo residenziale. Risalgono a questo periodo gli interventi di abbellimento nell'atrio con lunga balconata su teoria di arcate a bugne, la costruzione dello scalone a giorno con superfici integralmente rivestite di stucchi, e la decorazione delle sale al piano nobile con affreschi di soggetto mitologico.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.