杜驥字度世，京兆杜陵人。高祖杜預，是晉朝的征南將軍。曾祖杜耽，到河西避難，所以曾在前涼張氏那裡作官。苻堅平定涼州後，祖父和父親才回到關中。
杜驥哥哥杜坦對史籍頗有研究，宋武帝打下長安，他跟隨南下。元嘉年間，作青、冀二州刺史。晚期南渡的北方人，南朝士族常把他們視為粗鄙之人，即使有才幹，往往受士族壓抑排斥，杜坦常因此感慨不平。一次和文帝論及史籍。文帝說：「金日石單忠孝淳樸深厚，漢朝無人比得上，遺憾的是今天再沒有這種人了。」杜坦說：「日石單的美德，誠如陛下所言，假如他生在今世，養馬都忙不過來，怎有機會被賞識重用。」文帝變了臉色說：「你怎麼把朝廷看得這麼狹隘刻薄呢。」杜坦回答：「就拿我來說吧，我本出身中原高門大族，先曾祖因為晉朝喪亂，流落到西涼，僅僅因為南渡不早，便被當成傖俗視為異類。日石單本是胡人，養馬的出身，被破格提拔到皇帝身邊，位置與大臣並列。本朝雖也能提拔人才，我怕未必能有金日石單這樣的事。」文帝默然無言。
北方傳統風俗，探問病人都要派自己的子弟前去。杜驥十三歲時，父親派他去問候同郡的韋華。韋華兒子韋玄很有名望，見到杜驥覺得他很不尋常，便把女兒許配給他。杜驥以後逐步升任長沙王劉義欣的後軍錄事參軍。
元嘉七年(430)，跟隨到彥之入河南，加封建武將軍。北魏撤去河南防務全部退回河北，到彥之派杜驥守洛陽。洛陽城荒廢已久，又無糧食，到彥之兵敗退走時，杜驥也想棄城逃跑，又怕被文帝誅殺。起先，武帝攻下長安、洛陽後，把宮廷內的鐘鼎樂器等物運回江南，一口大鐘掉到了洛水中。這時文帝派將軍姚聳夫帶一千五百人來這兒把它弄回去。當姚聳夫帶人在洛水正往外打撈時，杜驥派人來向他謊稱：「夏軍南下，洛陽勢弱，如今我修理城池，都已堅固，軍糧又充足，所缺少的只是人力。你不如率眾人到我這兒來，共守此城，立了大功以後，再取鍾也不晚。」聳夫相信了他的話，領著他帶來的人到杜驥這兒來。等到了洛陽，才知道難以堅守，又無糧食，於是帶人離去，杜驥也棄城南逃。他對文帝說：「本打算以死固守，可是姚聳夫進了城就走，弄得人心沮喪恐慌，不可收拾。」文帝發怒，使建威將軍鄭順之在壽陽殺聳夫。聳夫是吳興武康縣人，勇敢果斷有氣力，宋朝的下級軍官無人比得上。
永嘉十七年(440)，杜驥作青、徐二州刺史，在任八年，恩惠德化顯著於齊地。自義熙年間直到宋末，作刺史的只有羊穆之和杜驥受到吏民稱頌。後來被徵召作左軍將軍，其兄杜坦代為刺史，北方人都引以為榮。
杜坦長子杜琬作員外散騎侍郎，文帝曾有書信給杜坦，杜琬擅自拆看；信還沒來得及送出去，他又要回來看。信發走以後，此事被大肆追問。文帝派主書來責問杜驥，並追查私拆信函的人。杜驥回答說：「開信的是我的四兒子季文，我等待朝廷處罰。」文帝特加開恩不予追問。杜驥後來死在任上。