La costruzione del castello è da inquadrare nelle prime fortificazioni difensive sorte attorno alla Chiesa di Santa Maria, come testimonia un documento risalente all'anno 998; nella seconda metà del XII secolo il vescovo di Vicenza, cui il castello apparteneva, lo donò a Ecelo I, capostipite di quella che fu la potente famiglia degli Ezzelini.
Le strutture più antiche ancora presenti risalgono ai secoli XII e XIII, periodo in cui venne costruito il muro di cinta pentagonale a nord e la torre dell'Ortazzo. Il castello fu operativo durante le dominazioni degli Scaligeri (1311-87), dei Visconti (1387-1404) e infine della Repubblica di Venezia dopo la dedizione del 1404.
Nel 1411, durante la guerra tra la Repubblica di Venezia e il Regno d'Ungheria, le sue fortificazioni resistettero agli attacchi delle prime bombarde messe in campo dalle truppe dell'imperatore Sigismondo di Lussemburgo che devastavano il territorio; caddero invece sotto l'urto degli eserciti di Massimiliano I d'Asburgo, durante la guerra della Lega di Cambrai nel 1508. Dopo di che venne dismesso e l'abbandono della funzione militare favorì lo sviluppo di attività commerciali e artigianali nella città di Bassano all'interno delle mura.
Il castello, dopo interventi di restauro, è adibito all'esposizione di mostre temporanee e alle rappresentazioni teatrali di Opera Estate. La piazza del castello, dove è presente l'ingresso del Duomo, è aperta al pubblico mentre il camminamento di ronda è aperto solamente in determinate occasioni.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.