L'edificio consta di una torre centrale, costruita tra il 1496 e il 1499 dall'architetto Mauro Codussi, e di due ali laterali, aggiunte successivamente. L'arco sottostante collega la piazza con le Mercerie. Il quadrante dell'orologio è in oro e smalto blu; segna ora, giorno, fasi lunari e zodiaco. Un primo restauro fu eseguito nel 1757. Il restauro moderno, iniziato nel 1997, è stato terminato nel maggio del 2006 e inaugurato alla mezzanotte del 27 maggio.

L'Orologio è dotato anche di un meccanismo a carillon, attivato tradizionalmente solo nei giorni dell'Epifania e dell'Ascensione. A ogni scoccare di ora, il pannello laterale delle ore si apre per lasciare passare un carosello di statue in legno rappresentanti i personaggi della Natività e i Re Magi. Le statue, trascinate da un meccanismo a binario lungo la piattaforma semicircolare posta sopra al quadrante, rientrano poi nella Torre attraverso il pannello laterale dei minuti situato dal lato opposto dell'Orologio. Cominciando dal tramonto del sole alle ore 18, la giornata era divisa in 24 ore e quindi i quadranti furono graduati da 1 a 24.

Il 1º febbraio 1499, il Doge Agostino Barbarigo inaugurò l'Orologio. La sua statua fu posta a fianco del Leone di S. Marco, simbolo della Veneta Nazione, sulla parte superiore della facciata della Torre, ma fu distrutta nel 1797, con l'occupazione francese della Repubblica Veneta. I municipalisti giacobini filofrancesi pagarono con i soldi pubblici degli scalpellini che distruggessero tutte le statue dei dogi e più leoni possibile.

Famosi sono i cosiddetti Mori di Venezia, soprannominati così per il loro colore bruno dai Veneziani. Posti alla sommità della Torre su una terrazza, sono due statue di bronzo raffiguranti due pastori che battono con una mazza le ore su una grande campana. Essi sono molto simili ma non uguali, e la differenza visibile consiste nel particolare della barba, di cui uno è sprovvisto. Il Moro barbuto è denominato il "vecchio", l'altro il "giovane". A questa attribuzione di ruoli contribuisce un particolare ben preciso. I Mori segnano le ore battendo la campana coi loro martelli (tanti rintocchi quante sono le ore), ma con una precisa modalità. Il Moro Vecchio batte le ore due minuti prima dell'ora esatta, a rappresentare il tempo che è passato, mentre il Moro Giovane suona l'ora due minuti dopo per rappresentare il tempo che verrà.