哥舒翰，是西突厥哥舒部落人。按突厥的習慣，常常以部落的名稱為姓氏，他的父親是哥舒部落的首領，叫做哥舒道元，曾經做過唐代安西大都護府的副大都護，哥舒翰的家族世居安西，他也生在安西大都護府的所在地龜茲(今新疆庫車縣一帶)。
哥舒翰生在旺族，他家有權有勢，也很有錢財。他在青少年時代，講俠義，好縱酒，凡是別人有求於他，只要他答應了，就一定辦到。當他四十歲的時候，他父親在京城長安去世了，他到長安守孝三年。朝廷任命他去做長安縣尉，縣尉這個官職，相當於今天的縣公安局長。他嫌縣尉太小，無法施展才能，一氣之下，就跑到河西從軍去了。
他到河西的首府涼州(今甘肅武威)就投在河西節度使的門下當一名軍官。不久，王忠嗣接替王侄擔任節度使，又把哥舒翰提拔為衙將。
哥舒翰喜歡讀書，特別是對《左氏春秋》、《漢書》最感興趣。由於他疏財仗義，下級軍官和士卒們都很敬重他。於是王忠嗣就派他獨擋一面，去擔任大斗軍副使。大斗軍駐防在大斗拔谷(在今甘肅民樂縣東南，甘、青兩省交界處的扁都口)，那裡是河西走廊通往青海的捷徑。因防守有功，哥舒翰被晉陞為左衛郎將。後來吐蕃寇邊，哥舒翰命部下分三隊出擊，拒戰於苦拔海，他自己手持半段槍，身先士卒抵擋敵軍的鋒芒，一路衝殺所向披靡，從此威名遠揚。
天寶六年(公元747年)，他擔任了隴右節度副使、都知關西兵馬使。隴右，就是今天甘肅的隴山、六盤山以西和黃河以東一帶。關西，就是今天的函谷關或潼關以西的地段。在他到任以前，每到麥熟季節，吐蕃的酋長就率領部眾到積石軍來搶奪麥子，並且還狂妄地把積石軍稱做「吐蕃的麥莊」，他們可以隨心所欲地搶奪，卻從沒有人敢去阻擋。哥舒翰聽了十分氣憤，他派出兩名將領帶著軍隊去打埋伏，等吐蕃五千騎兵一來，他率領主力從城中奔馳出擊，打得敵人丟盔棄甲，奪路而逃。伏兵四起，直殺得敵人匹馬不還。
哥舒翰有個家奴，名叫左車，年齡只有十五，六歲，臂力過人。每次出戰，他就跟在哥舒翰身邊，每當哥舒翰追上敵人，常常以槍搭在敵人肩頭，一聲大喝，嚇得敵人趕忙回頭，哥舒翰趁他回頭，一槍刺中咽喉，挑起三、五尺高甩到地下，左車躍馬上前割下頭顱，敵軍見了，無不喪膽。
這年冬天，宰相楊國忠一看王忠嗣權限太大，對自己是個威脅，就唆使人告密誣陷王忠嗣，唐玄宗一怒之下，罷了王忠嗣的官。玄宗召見哥舒翰，拜他為鴻臚卿(專管少數民族事務的官職，相當於今天的中央民族事務委員會主任)，並委他代行王忠嗣的隴右節度使的職權。哥舒翰全力保諫，營救王忠嗣，唐玄宗聽不進良言相勸，起身退朝後宮走去，哥舒翰竟然冒著觸犯皇上的罪名，追著求情，他言詞慷慨，聲淚俱下，玄宗很受感動。於是對王忠嗣從寬發落，把削職為民改為貶官漢陽太守。朝中大臣們都誇讚哥舒翰是個忠義之人。
天寶七年(公元748年)哥舒翰在青海湖建立神威軍，不久被吐蕃人攻破，毀掉。他又在青海湖的龍駒島上修築應龍城，從那以後，吐蕃人害怕他的威力，再也不敢靠近青海湖了。於是吐蕃軍隊為了和唐朝軍隊保持對峙的局面，就退守石堡城離唐朝大軍的駐地，道又遠，路又險，攻打多次，總是拿不下來。
天寶八年，唐玄宗命全朔方、河東的十萬少數民族的騎兵歸哥舒翰調遣，不到十天，就把石堡城攻破了。為了嘉獎他的功勞，玄宗拜哥舒翰為特進(文散官的第二階，相當於正二品)、攝御史大夫。天寶十一年，加開府儀同三司(唐為文散官第一階，相當於正一品。開府儀同三司，即可以按照宰相、御史大夫、太尉三公的成例開府設官)。
哥舒翰與安祿山的關係素來不和，兩個人一到一起就發生口角。唐玄宗把他倆視為國家棟樑，常常勸他們和解以兄弟相稱。天寶十一年冬天，兩個人同時來朝，唐玄宗讓宦官高力士在駙馬崔惠童府上的池亭裡擺御宴特地款待他們兩人。
哥舒翰的母親是于闐尉遲氏，安祿山在酒席宴上故意和他套近說：「我的父親是胡人，母親是突厥人，你的母親是胡人，父親是突厥人，咱們倆的血統一樣，應該親近些才是。」哥舒翰回答說：「古人曾說，山野中的狐狸對著洞窟而嚎，那是忘本的行為。」安祿山以為這是哥舒翰在諷刺他是胡人，大怒，指著哥舒翰罵道：「你這個突厥野老竟敢如此無禮。」哥舒翰正要對罵，高力士急忙勸阻。
天寶十二年，玄宗皇帝封哥舒翰為涼國公，食實封二百戶，並正式任命為河西節度使。不久又晉封為西平郡王。當時楊國忠和安祿山爭權，幾次秘密奏明皇上，說安祿山要謀反，因此他就想法擴大哥舒翰的職權，藉以和安祿山的勢力抗衡。天寶十三年，拜哥舒翰為太子太保兼御使大夫。
哥舒翰，好縱酒，姿情聲色。有一次，他到土門軍視察，去浴室洗澡，由於酒精中毒，又受了風寒，就暈倒了，好長時間才甦醒過來。因此，他只好回到長安，在家抱病不出。
後來，當安祿山起兵造反，封常清和高仙芝連連失敗，玄宗無奈，不得不求助於這位身患重病的老人了。拜哥舒翰為皇太子先鋒兵馬元帥，要他統領二十萬大軍出征禦敵，去前線鎮守潼關。玄宗皇帝親自在勤政樓犒勞他，並且命滿朝文武百官到郊外為他餞行。
天寶十五年，任命哥舒翰為尚書左僕射，同中書、門下平章政事。按唐朝官制，皇帝之—下，中央設尚書、中書、門下三省，三省的長官尚書令、中書令和侍中同為宰相。唐太宗之後，尚書省不設尚書令，僕射即是尚書省的長官。唐中宗以後，僕射、中書、門下省平章，政事者，不得為宰相，因此在哥舒翰的尚書左僕射的頭銜下，又加上了「同中書、門下平章」，就可以執行宰相的職權了。
哥舒翰一到潼關，就有謀士勸他說：「現在安祿山造反，他打的旗號是以誅滅楊國忠為借口，如果你留下三萬人馬駐守潼關，然後就帶領十七萬精兵去誅殺楊國忠，那麼安祿山就是出師無名了，你以為如何？」哥舒翰心裡贊同，可是他並沒有去做。
偏巧，這個機密卻被他身邊的人向楊國忠告發了。楊國忠一聽心裡非常害怕，於是他向玄宗奏了一本：「臣聞兵法最講究居安思危，眼下我們把兵力都集中到潼關去了，又沒有後繼兵源，萬一潼關失守，京城也就難保了。」經玄宗批准，又招募一萬人馬屯於霸上，楊國忠令其心腹杜乾運統領，名曰後衛，實際上是用來防止哥舒翰回兵京師誅滅他的。
哥舒翰一看楊國忠先下手了，就上表奏明玄宗把杜乾運的兵馬讓他統管，玄宗准奏，哥舒翰就以到潼關議事為名，把杜乾運給斬了。從此哥舒翰心事忡仲，風濕症更重了。他心有餘而力不足，自己無法處理軍務，只好把軍事大權交給了行軍司馬田良丘，讓田良丘執掌兵權，好多將領不服，他們不聽調遣，各自為戰，把一個好端端的軍隊搞成個七零八散，失去了統一行動，戰鬥力大大減弱了。
起先，當哥舒翰一出任討伐「安史之亂」的兵馬元帥時，他就向皇帝建議說：「陛下請不要擔心，別看安祿山佔領了河朔一帶，他們的所作所為都很不得人心，只要我們堅守城池，不讓他的勢力再得到發展，困上他一段時間，他們內部就會發生爭權奪利的矛盾，造成自相殘殺，等他們的力量減弱了，我們再出兵征討，是很容易打敗他們的。眼下他們鋒芒畢露，一致對外，我們就是付出重大傷亡，要想戰勝他們也是非常困難的。」玄宗求勝心切，不但不採納哥舒翰的計策，還強令哥舒翰馬上出兵。
當時安祿山手下有一員大將叫崔乾裙的很有謀略，他把自己的精銳部隊隱蔽起來，卻裝成毫無戒備的樣子，玄宗卻信以為真，就讓哥舒翰先去打他。哥舒翰勸玄宗說：「安祿山是個久經沙場的人物，他怎會容許他的部下毫無戒備呢，這明明是個陰謀，我們千萬不能中他的圈套。況且賊兵從遠道而來，利在速戰速決。我們官軍原地未動，利在堅守，因此，我們是不能輕易出擊的，否則，就很容易上當。」
楊國忠害怕哥舒翰誅滅他，就一味唆使玄宗出兵。玄宗由於久處太平，不懂軍務，也就聽信了楊國忠的話，派遣宦官邊令誠前去督戰，哥舒翰不得已，乃率軍出關迎敵。
天寶十五年(分元756年)六月八日，哥舒翰率軍出靈寶縣西，與賊兵交戰，崔乾裙只有幾千人，他們且戰且走，直到把二十萬官軍引誘進一條死胡同，就去佔據制高點。哥舒翰一見南面是峰巒陡峭的祁連山，北面是洶湧澎湃的黃河，前面又有賊兵居高臨下，控制著通道。官軍就像竹筒中裝滿的豆子一個挨一個前擠後擁的向前滾。
哥舒翰明知中了賊人的奸計，想要擺脫困境已經來不及了。於是，他乘浮船在黃河中流指揮戰鬥。當時，唯一的出路，就是衝破前面賊兵的堵截，他一看崔乾裙的兵馬少，就督促將士奮勇前進，將士們為了活命都奪路衝鋒，隊伍一下子全亂了套，指揮失靈。
下午天氣驟變，刮起東風，崔乾裙一看時機到了，急忙命令部下把幾十輛裝滿乾草的大車點著，縱火焚燒，頓時烈焰騰空而起，濃煙瀰漫，嗆得官軍睜不開眼，看不清路，後軍見前軍一亂，以為吃了敗仗，互相排擠踐踏，好多人掉進河裡，死者數萬人，號叫之聲驚天動地。一些人無奈只得把器械，槍棒捆綁在一起做成筏子渡向北岸。活下來的十個人中也剩不下一兩個了。
官軍慘敗已成定局，哥舒翰率領幾百名騎兵突圍，突圍後，在歸途中歇息的時候，哥舒翰被他的部將火拔歸仁捆綁起來，去向安祿山邀功領賞，安祿山一見哥舒翰，便狂放地大笑：「哈，哈，哈，你這個高傲的突厥呀，今天還敢輕視我嗎？ 」哥舒翰挑戰式說道：「哎！安祿山，有種的，你就殺了我。」安祿山狡猾地說：「不，我要你活下來，對我面君稱臣，為我所用。」可是，哥舒翰並沒能使安祿山稱心如意。不久，安祿山就叫他的心腹暗暗地把哥舒翰殺死了。
在蘅塘隱士選編的《唐詩三百首》中，收進了一首題為《哥舒歌》的五言絕句，詩中寫道：「北斗七星高，哥舒夜帶刀。至今窺牧馬，不敢過臨洮。」耐人尋味的是其他詩都署上作者的真實姓名，唯獨這首詩卻假托是西鄙人作的，按中國的姓氏是沒有單姓西字的，所謂西鄙人無非是暗示作者只不過是個河西的無名之輩罷了。其實，這首詩的內容卻是充分地反映了唐代居住在隴右一帶的黎民百姓對哥舒翰的信賴和讚頌。