徐懷玉，本名叫琮，亳州焦夷縣人。小時以雄勇俊傑自任，跟隨太祖起軍。唐朝中和末年，跟隨太祖到大梁。光啟初年，蔡州賊人屯駐金堤驛，徐懷玉帶領輕裝騎兵接連打敗他們，因而不斷陞遷直到親從副將，改任左長劍都虞候。又隨從太祖在板橋打敗蔡州賊寇，佔取秦宗權八座營寨，太祖上奏朝廷加封他為檢校右散騎常侍。文德初年，同眾軍解除河陽之圍，從太祖攻下徐州、宿州。乾寧年間，上奏加封為檢校刑部尚書，太祖賜名懷玉。在金鄉南邊打敗朱瑾，活捉宗江獻上，上表授與金紫光祿大夫、檢校右僕射。
乾寧四年(897)，龐師古在清口失利，僅徐懷玉保全軍隊退回。光化初年，轉任滑州右都押牙兼右步軍指揮使，不久上奏授與沂州刺史。隨後，王師範據青州反叛，屢次出兵侵犯沂州，徐懷玉擊退他。天復四年(904)，轉任齊州防禦使，加封檢校司空，跟隨大軍到岐下迎駕。回來後暫任華州觀察留後。一年後，又領部下士兵戍守雍州，接著應召赴河中，補任晉、絳、同、華五州馬軍步軍都指揮使。天..三年(906)任左羽林統軍，轉任右龍虎統軍，領六軍士兵奔赴澤州。旋即被晉軍攻擊，晝夜衝擊，挖地而入，徐懷玉率親兵迎殺敵軍於隧道之中，晉軍於是後退。開平元年(907)，任曹州刺史，加封檢校司徒。第二年，任晉州刺史。那年秋天，晉軍大舉撲來，已經登上城牆，徐懷玉挑選親兵五十多人，一擁而上將敵人殺下城牆。晉軍後退後，徐懷玉拿出家財來獎賞戰士。這年中，晉軍再一次攻來，徐懷玉領兵在洪洞打敗他們。開平三年(909)，詔令授與..坊節度使、特進、檢校太保，徐懷玉訓練士兵，修繕城牆，人人都感安心，徐懷玉被加封為檢校太傅。
乾化二年(912)，庶人朱友王圭已經篡奪帝位，河中朱友謙抗拒朝令，派兵襲擊..州，徐懷玉沒有防備，旋即被河中軍俘虜，囚禁在公館。到朱友王圭派康懷英領兵包圍河中時，朱友謙擔心徐懷玉有變，於是殺害他。徐懷玉才質氣概剛健英勇，臨陣未曾受挫敗退，平生創傷遍體，有戰將的英名。