湘子桥始建于南宋乾道六年（1170），潮州知军州事曾汪主持建西桥墩，于宝庆二年（1226）完成；绍兴元年（1194），知军州事沈崇禹主持东桥墩，到开禧二年（1206）完成。工具各九墩，前后费时五十六年。因“江心流急湍，深莫能测”，桥末未能合拢。
本地官绅以摆渡牟利，收取捐税。“虽济以舟，日不克不及三、四渡，天涯之限若千里，潮民病涉，莫此为甚”。明宣德十年（1435），潮州知府王源采西湖山石用以修桥，西桥段增至十墩，东桥段增至十三墩，墩高五、六丈，墩面一百多至二百平方米，每墩上建望楼，改名为广济桥。
正德八年（1513），复增建一墩一楼，共二十四墩，中间“设舟二十四为浮梁，周以栏盾铁缘，连亘以渡往来”（《广济桥记》）。每条铁链重4000斤，把梭形串保持成浮桥。浮桥可开开闭。翻开时可通过大船。后来梭船改为十八只。潮谚有云： “潮州湘桥好风流，十八梭船二十四洲。
二十四楼台二十四样，二只锉牛一只溜。”所谓“洲”，便是水中陆地，也就是桥墩。“楼台”即墩上望台。各个楼台格局差别，故说“二十四样”。“锉牛”指雍正年间修桥时铸的铁牛，工具桥段各一只，牛头上铸有“镇桥御水”四字；道光年间一只只铁牛被洪水冲走，故云“一只溜”。
至于“广济桥”怎么又酿成“湘子桥”呢？有两种说法，都和仙人传说有关。一说桥是湘灵（湘水之神）架起的，故名“湘桥”。杨凇的《湘桥春涨》诗云：“一桥绵亘锁烟汀,急溜朝宗去不断;春水照旧仙迹杳,行人犹自说湘灵。”一说桥是八仙之一的韩湘子所建,故名湘子桥。
关于韩湘子，也有两种说法。一说韩湘子就是韩愈的侄孙韩湘。《列仙全传》“韩湘子“条云：”字清夫，韩文公之犹子也，崎岖潦倒不羁，遇纯阳先生，因从游，登桃树堕死而登仙。来见文公。文公勉之学。湘曰：“湘之所学与公异……”。
《青琐高议》云：“字清夫，愈侄……，尝于愈前聚土覆盆，好久现碧云二朵，叶间有小字云：云横秦岭家安在，雪拥蓝关马不前。愈不解诗意。湘曰：事久可验。后愈贬潮阳，半途遇雪，湘忽冒雪而来。曰，忆花上句乎？乃今日事也。”酉阳杂俎》亦载其事。另一说则认为那个字清夫的“仙人”韩湘子，不是韩愈的侄孙韩湘，而是另一小我。
《随园漫笔》云：“湘乃会昌三年进士，非好道者，其好道者别是一族子”。韩湘是韩愈之侄韩老成（即“十二郎”）的长子，字北渚，韩愈贬潮州时，韩湘与其弟滂皆侍行。韩愈集中存宿曾江口（广东增城）示侄孙湘诗二首。会昌三年（843）中了进士。他和阿谁字清夫的韩湘子是两小我。
畴前，湘子桥东头有石刻 “洪水行此”四字，传说是韩湘写的。康熙二十四年修桥时除去此碑，雍正年间代办署理知府张云浦借“韩湘子”之名扶乩，重刻“洪水行此”碑，并建湘子庙于桥上。
后人就习称那桥为湘子桥。“湘子桥”名字很美，有古味，有仙人味，渐渐被人们承受了，“广济桥”反而很少提及了。桥的建成，托名仙人之力，其实是古代常识分子与劳动听民聪慧与辛勤的结晶；亦见工程之艰巨，殆非人力所能为。至于帮忙建桥的“仙人“，究是湘水之神，是八仙之一的韩湘子，仍是韩愈的侄孙韩湘，就大可没必要去深究了。