李俊是庐州人氏,在扬子江中做撑船梢公,还与出洞蛟童威、翻江蜃童猛一同贩卖私盐。因精通水性,人称混江龙。他和催命判官李立同霸揭阳岭,与揭阳镇穆弘兄弟、浔阳江张横兄弟合称揭阳三霸。
原著中宋江刺配江州时,途经揭阳岭。李俊听闻消息,便与童家兄弟在岭下等候,却与宋江错过。宋江在李立的酒店里吃酒,却被李立用蒙汗药麻翻,险遭杀害。
李俊久候不至,返回岭上寻找李立,恰遇李立要宰杀宋江,便将宋江救下。宋江到李俊家中小住,还与他结为兄弟。
宋江离开揭阳岭后,在揭阳镇打赏病大虫薛永,得罪了穆弘兄弟,被穆家兄弟率庄客追至浔阳江边。他情急之下,又上了船火儿张横的黑船。张横将船驶至江心,要夺宋江的财物,并逼他跳江。李俊恰巧撑船碰见,再一次救下宋江。宋江与张横、穆弘等人化敌为友。宋江在江州题反诗,遭黄文炳告发,与戴宗被判斩首,却被李逵以及梁山泊十七位头领劫法场救出。李俊与张横、穆弘等九人也驾船赶赴江州,要救宋江,却在江边白龙庙与宋江等人相遇,一行二十九人便在白龙庙聚会。而后攻打无为军,李俊协助张顺生擒黄文炳。
而后李俊等人同上梁山,上山后,他与李逵一同镇守山前旱寨。后随梁山大军征祝家庄、高唐州、青州、华州。宋江成为梁山首领时,重新调整将佐职责。李俊改镇水军寨,并在水军头领中位居第一。二打大名府时,李俊与张顺出战诱敌,将索超诱至陷坑,使得索超被梁山擒获。梁山排座次时,李俊排第二十六位,星号天寿星,是水军头领第一位,与阮小二一同把守东南水寨。三败高俅时,梁山水军大显神威。李俊擒杀金陵水军统制官刘梦龙,又与张横合擒京北弘农节度使王文德。
梁山受招安后,李俊随宋江南征北战,屡立战功。
征讨辽国时,李俊率领水军夺取檀州水门,协助宋军攻占檀州。后辅佐赵枢密,留守檀州。
征讨田虎时,李俊随关胜连破榆社、大谷等县。他听闻卢俊义攻太原不下,便辞别关胜,冒雨驰赴卢俊义军中,进献水攻之计,掘开智伯渠,水灌太原。太原城被大水淹没后,李俊率水军乘飞江、天浮,夺取四处城门,只杀得城中“鸡犬不闻,尸骸山积”。
征讨王庆时,李俊率水军大战瞿塘峡,杀死水军都督闻人世崇,义释副将胡俊,夺取云安州,斩杀留守施俊,后又和童家兄弟扮做渔人,埋伏在清江边上,生擒寇首王庆。他在胡俊的协助下,招降东川、安德,使得“农不离其田业,贾不离其肆宅”,在平淮西之战中功居第一。