徐遠，字彥遐，廣寧石門人氏。其祖先出自廣平。曾祖父定，為雲中軍將、平朔戍主時，便定居朔地了。遠年輕時熟悉吏事，郡辟舉為功曹。不長時間，與太守率領本郡民戶投奔義旗，署防城都督，除癭陶縣令。由於遠擅長書計，高祖命令他做了丞相騎兵參軍事，常從征伐、參預軍務，極得高祖信賴。歷職巨鹿、陳留二郡太守。天保初，被御史彈劾，遇赦免罪，兩年沒有任官。顯祖看在遠是勳舊的面上，特地用為領軍府長史，後拜東徐州刺史，入朝為太中大夫。河清初，加衛將軍。二年(563)，除使持節、都督東楚州諸軍事、東楚州刺史。天統二年(566)，授儀同三司、衛尉。四年，加開府、右光祿大夫。武平初卒。
遠為政寬和，有恩惠。到東楚的這年冬天，州城大火，毀掉了城民的諸多產業，遠親自趕赴現場指揮搶救，面對災後慘景流涕，又迅速組織民眾重新經營，使他們都能安居樂業。長子世榮，為中書舍人、黃門侍郎。