羊玄保，泰山南城人。祖父羊楷，是晉朝的尚書都官郎。父親羊綏，是中書侍郎。
羊玄保開始擔任宋武帝的鎮軍參軍，少帝景平年間(423～424)，逐步陞遷為司徒右長史。衛將軍王弘對他十分器重，曾對左長史庾登之、吏部尚書王准之說：「你們二位賢士聰明俊朗，很多東西可以會悟通達，然而寬弘美好的聲望，自然應當共同推重羊君。」不久，入朝擔任黃門侍郎。
羊玄保善於下棋，品第居第三。文帝也好下棋，和他用郡官做賭注，結果羊玄保戰勝，所以便讓他補任了宣城太守。在此以前劉式之為宣城訂立了官吏對付叛逃的政策，一個人如果不能抓到，就以公文通知伍、裡的官吏扭送州郡的有關部門，能抓到此人的人賞官位二級。羊玄保認為這樣做很不恰當，議論道：「臣探討叛逃的緣由，都是出於極端的逼迫。現在訂立了特殊的政策，對於現實十分苛苦。又考慮這個政策僅只是在一個地區實施，如果它是正確的，則應該與天下統一起來；如果它是不正確的，那就也不應該在一個郡中單獨實行。」從此詔令停止那項政策。
他曾歷任丹陽尹、會稽太守、太常、吳郡太守。文帝因為羊玄保廉潔樸素沒有貪慾，所以頻頻地安排他在名郡任職。為政雖然沒有特殊的治績，而離開以後通常一定被人思念。他不經營錢財利益，家產儉省微薄。文帝曾經說：「一個人做官不僅必須要有才幹，也必須要有運氣。每次有了好的官位出缺，我不曾不先想起羊玄保。」元兇劭弒君自立，讓他做吏部尚書，兼任國子祭酒。到了孝武帝入京討伐，朝中人士大多向南逃走，劉劭把官員們全部召集過來，橫握鋼刀憤怒地說：「你們都可以走了。」大家都很害怕，沒有人敢說話。羊玄保面不改色，慢慢地說道：「臣願意以死報效朝廷。」劉劭因此而緩和下來。
孝武帝即位，任命他為金紫光祿大夫，以謹慎恭敬受到重視。大明五年(461)，升任散騎常侍、特進。羊玄保從少年到老年，對祭奠非常謹慎，四季的珍奇新鮮出產，凡是沒有經過祭獻的，自己決不先嘗。死後，追加謚號為定子。
他的兒子羊戎少年有才氣，但卻人品輕薄，行為很不檢點，說話好用雙聲。江夏王劉義恭曾經設齋，讓羊戎放好座位，過了一會兒江夏王出去了，因為座位太窄，他便自己把它拉寬。羊戎說：「官家狹窄，令人討厭，要再加寬八分。」江夏王笑著說：「卿哪裡是只善於雙聲，乃是一位善辯之士哩。」文帝好與羊玄保下棋，有一次一個宮使前來，羊玄保說：「今天皇上為什麼要召見我？」羊戎說：「金溝清淺，銅池碧波，光景美好，該是下棋。」羊玄保常常嫌他輕狂，說「這孩子一定會毀掉我家」。羊戎官居通直郎，因為與王僧達一道譭謗當朝政治，被賜命自殺。死後，孝武帝引見羊玄保，羊玄保謝罪說：「臣沒有金日石單的明察，因此辜負了皇上。」皇上很讚美他的話。羊戎有兩個弟弟，文帝一起賜名叫羊鹹、羊粲，對羊玄保說：「希望能讓你的兩個兒子有正始時代的林下餘風。」
羊玄保善於下棋，而何尚之也極愛這種遊戲。吳郡的褚胤七歲時便進入了高品級，等他長大，為當時的冠軍。褚胤的父親褚榮期與臧質一同叛逆，褚胤應當隨從殺死。何尚之堅持請求說：「褚胤下棋的高妙，超過古代，冠於當今。魏韜違犯了法令，因為才高而獲赦免，父親被殺兒子寬大處理，這種例子很多。特請給予他一個活命，使一種奇異的技藝不致斷絕。」結果沒有得到批准，當時的人對此十分惋惜。