La rocca fu costruita dalla famiglia Acquaviva verso il 1300, ma dell'impianto originario restano poche tracce. Nel 1447 la fortezza primitiva subì corposi guasti dai fermani, che detenevano in Acquaviva fondamentali interessi strategici. Venne ricostruita nel 1474 da Giovan Francesco Azzolino, e i lavori furono diretti dall'architetto fiorentino Baccio Pontelli. Un ulteriore restauro generale si deve a Giuseppe Sacconi e fu compiuto alla fine del XIX secolo.

La rocca odierna presenta due ordini murari: il primo, verticale, sostiene i camminamenti di ronda e si proietta a sbalzo verso l'esterno con gli archetti della difesa piombante; il secondo, fortemente scarpato per il rimbalzo dei proiettili, contiene all'interno percorsi casamattati con bocche da fuoco per il tiro delle armi leggere. La fortezza, che si suppone fosse circondata da un fossato, ingloba una vasta corte centrale servita da un pozzo.

La pianta è quadrilaterale irregolare, culminante a ogni vertice in un torrione. Le torri hanno mole e consistenza diversa in relazione all'orografia del terreno e al rischio di attacchi esterni. Questa conformazione, vista dall'alto, richiama immediatamente il simbolo di una balestra pronta a scoccare una freccia verso est, in direzione del mare. Da quella direzione infatti proveniva il pericolo maggiore.

Le torri principali est (mastio) e ovest recano il baricentro lungo l'asse di simmetria della rocca, sezionando la corte in due triangoli fra loro assai simili, i cui restanti lati coincidono con le mura perimetrali. Il mastio cilindrico è alto 22 m. Il torrione maggiore situato dalla parte opposta è dotato di bocche da fuoco, mentre gli altri due erano destinati all'artiglieria leggera.