趙芬字士茂，天水西人。
父親趙演，北周的秦州刺史。
趙芬少有辯才，很讀了一些經史方面的書。
北周太祖任他為相府鎧曹參軍，歷任記室，累次陞遷到熊州刺史。
他招納投降的，安撫歸順的，得到了二千戶人口。
加授他開府儀同三司。
大塚宰宇文護召他為中外府掾，他不久又升任吏部下大夫。
趙芬生性強幹有才，不管幹什麼，都有政績。
北周武帝親總萬機後，授他為內史下大夫，後轉任少御正。
趙芬熟悉典章制度，朝廷每次有疑問，眾人議論，不能決斷的，趙芬就為之評斷，沒有不說好的。
他後來當司會。
申國公李穆征討北齊時，引趙芬為行軍長史，封他為淮安縣男爵，食邑五百戶。
又出京為淅州刺史，轉任東京小宗伯，鎮守洛陽。
隋高祖為北周丞相時，尉遲迥與司馬消難陰謀來往，趙芬覺察到了，秘密告訴高祖。
因此深被重用，升為東京左僕射，晉爵位為郡公。
開皇初，罷東京官職，授為尚書左僕射，與郢國公王誼一起，起草法律。
繼而兼任內史令，高祖很信任他。
不久，他因老病，出京任蒲州刺史，加授為金紫光祿大夫，仍兼管關東的漕運，賜他錢上百萬，糧食五千石。
幾年後，趙芬上表請求退休，被調回京師。
賜他二馬軺車、幾杖被子，讓他回家。
皇太子又送他巾帔。
幾年後去世。
皇上派人弔唁，鴻臚卿監護喪事。