樂藹字蔚遠，南陽育陽人。晉朝尚書令樂廣的六世孫，世代居住在江陵。他的舅父雍州刺史宗愨，曾經陳列器物，在各個外甥侄子中作試驗。樂藹當時尚年幼，而所拿的只有書，宗愨由此而驚異。宗愨又取史傳各一卷交給樂藹等人，讓他們讀完談所記得的。樂藹粗略讀完，一一列舉，宗愨更加讚許他。
宋朝建平王景素任荊州刺史時，徵召樂藹為主簿。景素任南徐州刺史時，又徵召樂藹為征北刑獄參軍，陞遷龍陽相。因為父親去世而離職，官吏百姓都到州里去請他，葬禮完畢便起身。當時齊朝豫章王嶷任武陵太守，平素讚揚樂藹的治理，等到嶷任荊州刺史時，委任樂藹為驃騎行參軍，兼任州主簿，參加主持一州事務。嶷曾經向樂藹問及風土習俗、城壕、城牆、山脈河流險易之地，樂藹隨問隨答，就像按照圖冊上來講的，嶷更加器重他。州人嫉妒樂藹，有人進讒言說樂藹官署門庭若市，嶷派人窺視，只見樂藹閉門讀書。嶷回到京都，封樂藹為太尉刑獄參軍，主管書記，後陞遷枝江縣令。後又內調大司馬中兵參軍，轉署記室。
齊永明八年(490)，荊州刺史、巴東王子響舉兵謀反，不久被打敗，焚燒房屋，官署文書，一時間蕩然無存。武帝引見樂藹，向他問及西部之事，樂藹答對完備迅速，武帝非常高興。任用樂藹為荊州治中，下令托付他整治恢復府州事務。樂藹回到荊州，整治修理數百個地方的官署，不久全部修好，而不用百姓服勞役。荊州人認為從晉朝王忱遷鎮荊州以來，從不曾有過這樣的事。
永明九年(491)，豫章王嶷去世，樂藹解去官職奔喪，領著荊、湘二州的一幫舊臣，在嶷的墓前建碑立傳。樂藹多次遷任車騎平西錄事參軍、步兵校尉，要求幫助戍守西邊而回到荊州。
南康王任西中郎時，任用樂藹為咨議參軍。義師舉事，蕭穎胄召來樂藹及宗..、劉坦，讓他們幫助策劃。梁朝建立，遷任鎮軍司馬、中書侍郎、尚書左丞。當時營造兵器盔甲、船艦軍糧，到制定朝廷法令、法度，都憑借樂藹。不久遷任給事黃門侍郎，左丞如同從前。和帝東下，跟隨和帝一道兼任衛尉卿。
天監初(502)，陞遷驍騎將軍，兼任少府卿；不久遷任御史中丞，兼任本州大中正。起初，樂藹從江陵出發，無故在船上得到八根車輻條，就像御史中丞前行時為他避開道邊行人的人，到現在果然陞遷。樂藹性格公正好強，任御史中丞很稱職。當時長沙宣武王將要安葬，而車府忽然在庫失去油絡，準備推出主事的人。樂藹說：「從前晉朝武府失火，張華認為是積油萬石的結果。現車府如果有灰塵的話，便不是官吏的過失。」馬上去察看，果然有積灰，當時人稱樂藹心胸廣博、十分寬宥。
天監二年(503)，出任持節稱號，督廣、交、越三州諸軍，冠軍將軍、平越中郎將、廣州刺史。前刺史徐元瑜卸任返回時，路上遭遇始興人士謀反，驅逐始興內史崔睦舒，乘機掠奪了徐元瑜的財產。徐元瑜逃回廣州，向樂藹借兵，假托想討伐賊匪，而實際上是謀劃襲擊樂藹。樂藹發覺了徐元瑜的計謀，殺掉了徐元瑜。不久進號征虜將軍，在這個官位上直到死去。