據說堯舜時代正值冰河時代後期，氣候轉暖，冰雪消融，致使海平面迅速升高，海水倒灌；古黃河改道從蘇北平原入海，淮河淤積，洶湧的洪水淹沒了淮、泗流域，滄海橫流，洪水氾濫，泰山以西到沂蒙以南至蘇北地區成了一片汪洋，天地萬物在滔天的洪水中沉沉浮浮。對於當時的情景，《尚書·堯典》中這樣描寫：“湯湯洪水方割，蕩蕩懷山襄陵，浩浩滔天。”
農田被淹沒，房子被摧毀，人民流離失所，無家可歸，為了免於淪沒，只能以木為舟，朝高山土丘上搬。這樣一來，正常的生產生活無法進行，只能在洪荒的孤島中望水興歎。
堯召開部落聯盟會議，請各部落首領來共商治洪良策。各部落首領都推薦鯀去治理水患。鯀史稱崇伯，是堯帝的臣子，禹的父親。堯覺得鯀脾氣暴躁，並不適合去治水，可是當時也沒有別的更合適的人選，治理水患又是當務之急，於是堯決定姑且讓鯀去試試。
鯀治理水患主要採用的是堵塞的方法，他用土築起高高的堤壩，把水圍起來，不讓它到處流。可是洪水來勢兇猛，不管那堤壩多高，都被洶湧的洪水沖垮，洪水還是會氾濫，鯀就東堵西補，疲於奔命。因此，鯀治水九年，用去不少人力物力，可是洪水並沒止歇。鯀一氣之下就盜取了天帝的寶物“息壤”，這是一塊可以自生自長，要多少有多少的寶土。鯀把息壤投入洪水，想讓生長不息的土掩埋洪水，沒想到洪水氾濫得更加厲害了。
鯀犯下滔天大罪，天帝震怒，命令火神將他處死在了羽山之野。
當時的人類在治理洪災方面，還處於摸索階段，經驗不足，總會有些曲折。鯀雖然未能取得治水的成功，但其在治水方法上的失誤，為後繼者提供了寶貴的經驗教訓，指明了方向。後來堯讓位於舜，舜親自去視察水患。此時，鯀的兒子禹已長大成人，舜見他器宇軒昂，認為他必會有一番作為，於是命禹繼續他父親沒完成的事業，去治理水患，並把後稷、伯益、皋陶等人派去給他當助手。
禹感傷於父親“功之不成受誅”，因此殫精竭慮，發誓一定要把水患治好。他非常聰明，還能吃苦耐勞，領命之後，就帶著伯益、皋陶和其他眾人去勘察地勢水情，尋找以前治水失敗的原因。他帶著眾人跋山涉水，朝上去追溯黃河的源頭，對黃河的上游、下游做了一次整體的考察。在這次考察中，他發現黃河除了主幹河道，還有很多分支流向了別處。在值得注意的地方，他把石頭堆積起來，或是砍倒樹木作為記號，以便治水時可以參考。當時，氣候惡劣，他們隨身攜帶的工具也非常落後，這次考察非常艱辛而驚險。據說，有一次，他們正在勘察一條河道，突然間電閃雷鳴，狂風暴雨頃刻而至，山洪爆發，咆哮的洪水淹沒、捲走了他們很多同伴。
考察完畢，大禹對水情作了認真的研究，認為父親“堵”的方法是行不通的，洪水兇猛，無路可走勢必會衝垮堤壩，因此他決定棄“堵”用“疏”的方法：把黃河的主幹河道加深加寬，可以讓更多的水暢通無阻，然後將支流流向主流的河道疏通，讓水可以順暢地和主流匯合；然後，還要加高原來的堤岸，並清除低地裡的淤積，這樣陸地和湖泊就可以清楚地分開了。同時，還要將這些大小湖澤和各個支流的河道疏通，這樣一來，一旦水位上升，就會順著各個河道匯入主流，流向大海了。
想好了治水的方法，禹便親自率領助手和眾百姓，帶著簡陋的石斧、石刀、石鏟、木耒等工具，開始他們治水的征途。禹事事身先士卒，在他的領導下，眾百姓一心一意，決心不降服水患誓不罷休。他們風餐露宿，粗衣淡飯，風雨無阻地在群山間穿越跋涉，儘管每天辛苦地勞作，直不起腰來，腿也腫了，可是從來不敢懈怠。
一次，他們來到了河南洛陽南郊的一座高山，那是秦嶺山脈的餘脈，從東向西一直延續到中岳嵩山，它巍峨陡峭，就好像天成的一道高大屏風。這座山的中段有一條九曲迴環，又很狹窄的天然水路，水量小的時候，就會從山間形成涓涓細流，輕輕流過。但是，山洪暴發時，水就會咆哮著沖刷著狹窄的水道，拍打石岸，時刻可能溢出，危害著周圍百姓的安全。大禹便決定集中將這條水道拓寬、鑿深、打直。堅硬的山石磨壞了他們的工具，而且山上地勢險惡，人們不是被掉下來的石頭砸傷，就是跌落山下，還有的被洪水沖走。可是他們仍舊毫不退縮，堅持在大山中開道。在他們不懈的努力下，終於在大山中間鑿出了一條寬闊的水道，形成兩壁對峙之勢，山洪可以順暢地向下游奔湧而去，再也不會對周圍百姓構成威脅。
《莊子》以極其虔敬的心情記述了禹的豐功偉績，頌揚了他堅忍不拔的意志，記述禹親自操橐耜而“九雜天下之川，腓無胈，脛無毛，沐甚雨，櫛疾風，置萬國。禹，大聖也，而形勞天下也如此”。意思是說禹為了制服水患，不辭勞苦，親自拿著工具，帶領眾人興利除害，同人民一起風裡來雨裡去，奮鬥在治水的最前面。艱辛的勞作使得他形容憔悴，大腿瘦得沒什麼肉了，小腿上的汗毛也都磨光了。禹就是這樣一位含辛茹苦，解救蒼生的聖人。因為長期在外治水，禹無暇顧及妻子和家庭。據說，他才剛剛新婚第四天，就出發去治水了，這一去就是十年，中間曾三過家門而不入，他這種捨家為國，公而忘私的精神至今被人傳頌。
十年間，他們翻越了一座又一座大山，疏通了一條又一條河渠，足跡踏遍了九州。在他艱苦卓絕的努力下，治水進展神速，“淮沂其治，蒙羽其藝”（《史記·夏本紀》）之地，也就是淮河和沂水流過的蒙山和羽山之間，古黃淮容易氾濫的河道得到疏通，擁堵在山間的洪水被引入大海。同時，低窪的地方留下了微山、東平、鉅野、駱馬等“四瀆”，為百姓種田提供了有利的水源。地面上現出了許多良田和桑土，百姓又可以種莊稼，重新過上了安居樂業的生活。
面對滔滔洪水，大禹率領民眾，頑強地與之鬥爭，最終運用聰明才智，通過堅忍不拔的努力，制服了水患。這個傳說體現了中華民族勤勞勇敢、堅毅不屈、公而忘私、萬眾一心戰勝困難的民族精神。
禹在治理水患的過程中，對中原各地的土地物產也有了瞭解，水患平息後，就劃分了青、兗、徐、揚、梁、豫、冀、荊、雍等行政區域，規定了各地的貢品賦稅。這樣一來，就真正形成了天下歸一的大好局面。
後代稱頌禹治水的功績，尊稱他為“大禹”。舜年老以後，也像堯一樣開部落聯盟會議，物色繼承人。禹治水有功，深得民心，大家都推選禹，於是舜就把聯盟首領之職禪讓給了禹。