趙倫之字幼成，下邳僮縣人，是孝穆皇后的弟弟。少年時父親早死，家庭貧困，趙倫之對母親非常孝順，並以此顯名。劉裕起義，趙倫之因為戰功被封閬中縣五等候，多次陞官，一直到雍州刺史。武帝北伐，趙倫之派順陽太守傅弘之、扶風太守沈田子從山堯柳出擊，在藍田大破姚泓的秦軍。到武帝稱帝，趙倫之因為是開國功臣，被封為霄城縣侯、安北將軍，鎮守襄陽。少帝繼位，趙倫之被調任為護軍將軍。元嘉三年(426)，趙倫之被任為鎮軍將軍，不久又升為左光祿大夫和領軍將軍。
趙倫之雖然因為是外戚而當了大官，但他很儉樸淡然，性格粗野樸實。人情世故，很多不知道。因長期當一方大吏，很是富有，到京任護軍將軍，財務不如先前那麼多，他以為是職務降低了。光祿大夫范泰喜歡對他開玩笑說：「司徒官職正空缺，一定會用你這老傢伙，我不說你的資格，僅說是外戚高爵的秩序就該輪到你。」趙倫之非常喜歡，每每帶著酒餚拜訪范泰。五年(428)，趙倫之逝世，他的兒子趙伯符繼承他的封爵。