Venne edificata in età longobarda (VII-VIII secolo) per volere del duca Arechi II, dopo l'abbandono dei siti paleocristiani di San Leucio e San Pietro. Dedicata inizialmente ai Santi Giovanni e Paolo, fu intitolata a san Sabino il 7 settembre 1101, ad opera di papa Pasquale II, circa quattrocento anni dopo la traslazione delle spoglie del Santo nella cripta sottostante per mezzo del vescovo Pietro il 1º agosto di un anno imprecisato del secolo VIII.

La cattedrale, nella quale si accede dopo una breve discesa, presenta sull'architrave centrale della costruzione ampliata il simbolo degli Altavilla. Le cappelle corrispondenti alla navata destra, intercomunicanti, contengono nell'ordine: una fonte battesimale, per ciò che riguarda la prima dall'ingresso; un altare e una tavola dedicati alla Madonna della Fonte (protettrice di Canosa) la cui icona pervenne dopo la Prima Crociata nel paese dauno, nella seconda, nonché le porte bronzee dell'adiacente mausoleo di Boemondo; la statua lignea e una tela raffigurante sant'Alfonso Maria de' Liguori e il sepolcro del beato padre Antonio Maria Losito (1838-1917) nella terza. Un crocifisso di legno di metà XX secolo, seguito da una recente scultura intagliata in un tronco d'albero dedicata a papa Giovanni Paolo II, anticipano l'ingresso alla sequenza di cappelle.

Nei pressi dell'abside è posto il seggio episcopale, opera presumibilmente di Romualdo e commissionato dal vescovo Ursone (tra il 1080 e il 1089): di ispirazione bizantina, la cattedra è poggiata su due elefanti stilizzati ed ha alla base una lastra in bassorilievo a rappresentare due aquile.