Il primo Ponte di Rialto fu costruito attorno al 1181 per opera di Nicolò Barattieri. Pare che allora fosse un semplice ponte di barche e che si chiamasse ponte del Quartarolo, o ponte della Moneta, a memoria del pedaggio che si doveva pagare quando si usava il traghetto preesistente. Nel 1255, sotto il dogato di Ranieri Zen, fu rifatto in legno e fissato su palafitte.

Fu eretto più volte, successivamente alla sua semi distruzione operata nel 1310 da Baiamonte Tiepolo durante la sommossa seguita alla congiura, ed un'altra volta ancora dopo il crollo del 1444 quando un gran numero di spettatori, stipato sul ponte per ammirare il corteo di barche che trasportava, secondo alcuni cronisti, la marchesa di Ferrara, figlia di Alfonso I, re di Napoli e di Sicilia, ma secondo alcuni storici l'imperatore Ferderico III, lo fece crollare causando la morte di oltre venti persone.

Venne ricostruito sempre in legno ma più largo, con delle botteghe ai lati e con la parte centrale mobile per far passare gli alberi delle imbarcazioni. Fu allora che il ponte venne chiamato "di Rialto", come ancor oggi lo conosciamo.