杜驥字度世，京兆杜陵人。高祖杜預，晉征南將軍。曾祖杜耽，因避難到河西，任職於張氏。苻堅攻佔涼州時，他的祖父、父親才從河西回到關中。
驥的哥哥杜坦對史傳很有研究。高祖征戰長安時，杜坦率領手下人全部到了南方。太祖元嘉年間，皇帝對坦非常器重，歷任後軍將軍，龍驤將軍，青冀兩州刺史，南平王劉鑠的右將軍司馬。當時遷居南方時間較晚的北方人，總遭到朝廷的歧視，被看作不體面、寒傖；即使其中有的人才能傑出，也總不能擔任要職，杜坦對此非常憤慨。他曾經和太祖談到歷史，太祖說：「金日石單忠孝真淳，漢代沒有誰趕得上他，真遺憾如今沒有像他那樣的人。」杜坦說：「金日石單的美德確實如皇上所說。但假若他生在今世，定然忙於養馬，哪有機會被您賞識。」高祖一下子變了臉色，說：「你對朝廷為何如此刻薄？」杜坦說：「請聽臣解釋，我本是朝廷尊貴之族，曾祖在晉朝混亂時遠遷涼州，世代相承都沒有忘記我們的根本，就因為我們回到南方較晚而被輕視。金日石單是胡人，本不過是養馬放牧之人，就能躍居朝中，位列名賢。聖明的宋朝即使要再選拔人才，臣認為恐怕未必能做到。」高祖聽後默不作聲。
北方有一習慣，要派兒子去問候病人。杜驥十三歲時，父親讓他去問候同郡人韋華，韋華的兒子韋玄當時有很高的名望，一見到杜驥非常驚奇，將女兒許配給他。杜陽公劉義真鎮守長安，徵召杜驥為州主簿。後任義真的軍騎行參軍、員外散騎侍郎，江夏王劉義恭撫軍刑獄參軍、尚書都郎官，長沙王劉義欣的後軍錄事參軍。
元嘉七年(430)，他跟隨到彥之到河南，加封建武將軍。索虜撤去在河南的防衛部隊回到河北，到彥之派杜驥守洛陽。洛陽已長時間處於混亂凋敝狀態，又無糧食，到了彥之敗退時杜驥想棄城逃跑，但害怕太祖因此殺了他而未果。當初，高祖平定關洛時，得到一批鐘鼎古物並帶回南方，其中有一口大鐘墜入洛水。到這當兒，太祖派將軍姚聳夫帶著一千五百士兵來到洛陽取這口大鐘。當時聳夫正率領人馬在洛水拖鐘，杜驥就欺騙他說：「敵虜南渡以後洛陽城形勢危弱，如今城池已修好，堅固異常，另外軍糧充足，而所缺的正是人。你把士兵帶進城來，我們共守洛陽，建立大功後去取鍾不晚。」聳夫信了他的話，率眾人去杜驥那裡。一進城，卻發現城不可守，更無糧食，聳夫就率眾人走了。杜驥隨即棄城往南逃回，並對太祖說：「我本欲以一死堅守洛陽，姚聳夫一進城就撤走，城內的人心情沮喪，士氣低落，都要走禁也禁不住。」皇上大怒，派建威將軍鄭順元在壽陽殺了聳夫。聳夫，吳興武康人，勇猛果斷，有氣力，宋代的那些小將領無人能趕得上他，當初隨到彥之北伐時與敵虜相遇，聳夫親自斬了拓跋燾的叔父英文特勒，拓跋燾用百匹馬贖回叔父頭顱。杜驥接著擔任通直郎、射擊校尉、世祖征虜諮議參軍。元嘉十七年(440)，他出朝督察青、冀兩州，徐州的東莞、東安二郡的軍事、寧遠將軍、青冀二州刺史。他在任八年，有好的政績留在齊地。從義熙年間到宋末年，刺史中只有羊穆之和杜驥被老百姓所稱道。元嘉二十四年(447)，他任左軍參軍，哥哥杜坦任刺史，北方人都以此為榮。杜坦的長子杜琬任員外散騎侍郎，太祖曾有信函給杜坦，杜琬拆開看了。信還未送走，太祖又追回，發現信已打開，就要嚴加追查。丞都回報說：「是杜家的子弟拆開的。」太祖派主書詰問此事，杜驥稟告說：「拆信的是我的四兒子季文，懇請皇上按刑法處置。」太祖破例原宥不問。元嘉二十七年，杜驥去世，時年六十四歲。