史祥字世休，朔方人。
父親史寧，北周少司徒。
史祥少有文才武略，仕北周，為太子車右中士，襲爵位為武遂縣公。
隋高祖受北周禪讓後，授他儀同，兼管交州事，晉爵為陽城郡公。
史祥在交州，頗有仁政。
幾年後，轉任驃騎將軍。
在伐陳戰爭中，他隨宜陽公王世積，率水軍出九江道，為先鋒，與陳軍交戰，打敗陳軍，進佔江州。
皇上聽到消息，十分高興，下詔書說：「我因陳叔寶世代為逆，肆虐百姓，所以命令諸軍拯救那裡的人民。
小寇狼狽為奸，仗著江湖之險，所以敢泛舟江湖，對抗王師。
你親率所部，抓住機會奮勇進擊，把敵人沉到江底又俘虜很多，其功很大。
又聽說你率部攻佔江州。
行軍總管、襄邑公賀若弼既占京口，新義公韓擒虎攻克姑熟。
你驃騎將軍既已渡江，自當所向無敵。
晉王的兵馬將進建業，掃蕩吳、越，為期不遠。
你驃騎將軍的高才壯志，是我所知道的。
望你好好經略，以立大功，得大賞，使富貴功名永垂史冊。」升他為上開府。
不久，授他蘄州總管。
不久，調任左領左右將軍。
後以行軍總管身份，隨晉王楊廣在靈武進攻突厥，大破敵軍。
升任右衛將軍。
仁壽中(601～604)，他率部屯紮弘化，以防備胡人。
煬帝那時任東宮太子，送書信給史祥說：將軍領兵在塞外，胡虜清塵。
禾末馬休兵，尚事打獵，足使李廣慚愧於你的大勇，魏尚慚愧於你的大能。
超過這兩位賢人的，只有你了。
往日我濫竽充數，得以領兵，振皇威於塞外，驅犬羊於大漠。
那是我們同行於軍旅之中，相聚於軍旗之下。
我們望龍城而怒髮衝冠，看狼居而發憤振威。
將軍你謀略蓋世，勇往直前，但事不遂心，不能與你一起共事。
每每想到這裡，我心裡愁得什麼似的。
將軍你志向遠大，我們早就如膠似漆，久而久之，我更敬重你，所以我們如同魚水。
近來我陪伴跟隨皇上，說到上京長安去。
我本想到南方我的番國去，在下國宣傳皇上的旨意，不料皇上改變初衷，讓我當了太子，我真是戰戰兢兢，如臨深谷，如履薄冰。
至於建節於邊疆，征討四方，在軍帳裡作一方長官，安撫百姓，上按規矩辦事，下盡臣子之忠，這是我的願望，是我所心甘情願的。
仰慕前賢，庶幾可以報效國家。
不料讓我當了太子，入守神器，當萬國首領。
我身輕負重，怎能承受得了？希望老朋友幫助我。
近來監國，很多空閒。
養病於閒宮之中，厭煩在北閣的閒居，不能在南皮騎馬射箭。
博望苑裡，既缺名賢，飛蓋園中，當然不會與凡庸之輩終宴。
親朋們遠走了，琴書都寂寞了，我想念我的賢士們，就像生了病，頭很痛一樣。
史祥覆信說：送信的人來臨，我奉讀了您賜給我的書信，知道了您的情況。
您對我的恩情，形諸文墨。
不料這飛雪增冰之地，忽然出了三春的太陽；這毳巾莫束袖的荒蠻地方，忽略聽到了蕭韶之樂。
我驚喜不已，思緒飛向遠方，不知從何說起。
史祥我小時未學軍旅打仗，長大後又遇到太平世界，有幸因先人的餘蔭，得以當上宿衛。
我怕自己才如駑馬，沒有到遠處去的本事；人如朽木，沒有折衝之才。
怎敢追隨古人，與他們比優劣？往昔王師征討，天人都受到幫助；揮旗大漠，國威震動海外。
在那個時候，猛將如雲，謀士如雨，至於我史祥，只不過排隊在兵卒之中，得以聽到您的指揮號令，得以免除逗留的責罰罷了。
我能有機會根據您的指揮，揣摩您的用意，實在是我的大幸！您於是把我們的感情比作雷、陳，把交往的事情比作劉、葛，這實在是聖人您委曲自己，並非庸人我想這麼去比。
為什麼呢？川澤很大，污水也歸去；松柏很高，蔦蘿就依托它。
我這依戀之心，是您所知道的。
敬請您發揚元首的品德，煥發太陽的光輝，修行三善，那麼天下萬國就好了。
這樣，就會道行高過周誦，友好超過商山四皓。
您的偉大，怎能管窺得到？您監國多閒，還請您養德怡神，讀六經和諸子百家。
過去和您追西園之愛客，眷顧南皮的出遊，您過去給我的恩典，我不會忘記。
史祥我自從忝為邊將，幾過寒暑。
我身在邊疆，心向朝廷。
每到傍晚，清風徐起，明月孤照，就想鳴葭開路，就想坐在車後回到朝廷去。
邊疆與京師山川悠遠。
仰望浮雲，讓我潸然淚下。
太子對他很親近。
煬帝即位後，漢王楊諒發兵造反，派部將綦良從滏口到黎陽，堵住白馬津；派余公理從太行下河內。
煬帝任史祥為行軍總管，駐紮在河陰，好久不能過黃河。
史祥對部下說：「余公理輕佻無謀，才能一向不足稱道。
他又新近得志，以為部下很多可以依靠，仗著人多，必然驕傲。
而且，黃河以北的人不習兵戰，即人們所說把市民趕去作戰。
照我看來，他不難對付。」於是下令軍中修造進攻用的器具。
余公理派人偵察到情況後，果然把部隊駐紮在河陽內城，以防備史祥。
史祥於是把船靠在黃河南岸，余公理聚集甲兵以阻擋。
史祥於是挑選精兵從下游偷偷渡河，余公理率部拒守。
史祥到了須水，兩軍相對，公理軍沒布好陣，史祥縱兵猛攻，大破公理。
史祥東進黎陽，討伐綦良等人。
綦良擺好陣勢等待，還未交戰，綦良就棄軍逃走了。
於是他的部下潰不成軍，史祥乘機縱兵，殺了一萬多人。
史祥升任上大將軍，賜縑采七千段，女樂十人，良馬二十匹。
轉任太僕卿。
皇上曾賜史祥詩道：「伯..朝寄重，夏侯親遇深。
貴耳唯聞古，賤目詎知今。
早票勁草質，久有背淮心。
掃逆黎山外，振旅河之陰。
功已書王府，留情《太僕箴》。」史祥上表辭謝，煬帝親草詔書說：「往年有勞你問罪興師於河北，反賊那時佔據了兩關之路，佔據糧倉，阻斷黃河，百姓脅從，人也很多了。
你盡忠奮勇，一舉克定。
《詩經》上不是說『喪亂既年，既安且寧』嗎？如不是有雄才大略，誰能到這一步呀？所以我略略表示一下感謝之情，你又何必推辭呢？」不久，史祥升任鴻臚卿。
當時，突厥的啟民可汗請求朝拜煬帝，煬帝讓史祥去迎接他。
跟隨煬帝征討吐谷渾，史祥率部從小路襲擊賊人，打敗了他們，俘虜男女一千多人。
煬帝賜他奴婢六十人，馬三百匹。
升任左光祿大夫，拜授左驍衛將軍。
遼東戰爭中，他率部出蹋頓道，不利而還。
因此削職為民。
不久授他燕郡太守，被賊人高開道所包圍，史祥裝病不管事。
城陷後，高開道對他很客氣。
剛好高開道與羅藝通和，把史祥送到涿郡去，史祥死在路上。