待渡亭，是古人迎来送往或者小憩避雨等待摆渡的场所。同时也是救生红船、义渡船的专用码头。以前，这下面就是滔滔的江水。

当年，乾隆皇帝带着他的妃子和宫娥彩女、太监、文武官员六次下江南，过江都是从西津渡口登陆的。关于待渡亭和乾隆皇帝，古街上流传了许多传说。

据说其中一次，乾隆正坐在龙舟上休憩，忽然江上风雨大作，疾风卷水，黑浪如山，蛟龙戏舞起长空，鱼鳖惊惶潜水底，龙舟在江上直打圆圈，龙舟随风漂流，到了西津渡口，皇帝一行赶紧登岸到待渡亭休息。