清同治年间（1862—1875年），杭州望江门是钱塘江下游的重要渡口，渡客从萧山西兴乘船至望江门，然后进入杭州城。彼时渡船分为官渡、民渡两类，都需付钱摆渡，价格不菲，所以生活困难的旅客只能望江兴叹。
清同治三年（1864年），浙江红顶商人胡雪岩着手兴办义渡。他出资十万两白银，分别在钱塘江北岸的南星桥三廊庙和南岸的西兴修建了义渡码头，又购买数条行驶比较平稳的方头平底渡船，对渡客实行分文不取的“义渡”，从而取代了原有渡口的地位，“钱江义渡”因此得名。
清光绪十一年（1885年），胡雪岩去世，两浙盐运使、旅沪七邑同乡会常务董事俞襄周向社会各界筹募资金以接办义渡，又自上海购置铁壳柴油机拖轮4艘，使钱江义渡正式进入轮渡时代。清光绪十二年（1886年），义渡局成立，钱江义渡自此由纯粹民办改为官督民办机构。北伐胜利后，此处建成浙江第一码头。
1937年，由茅以升主持设计的新中国第一座铁路、公路双层跨江大桥——钱塘江大桥建成，钱江义渡受到较大冲击。此后，日军侵华，为阻滞日军南进，茅以升亲自指挥炸毁了钱塘江大桥，杭州沦陷后，义渡局被日伪改为钱江轮渡局，实行售票渡江，义渡被迫终止。
