曾國藩自己也曾在奏議中稱讚「潤芝（胡林翼）才力過國藩十倍」。曾國藩還說胡林翼之功在於「變風氣為第一，而蕩平疆土二千里次之」。
胡林翼在湘軍集團中，是僅次於曾國藩的二號人物。他既是湘軍大佬，又是湖北省綠營的統帥，能文善武，懂經濟，擅理政，與曾國藩、左宗棠被史學家稱為大清「中興三名臣」。在晚清，時人都認為胡林翼的治行才望在曾國藩、左宗棠之上。曾任御史的晚清名士慈銘說胡林翼「老謀深識，燭照不遺，固中興第一流人」，曾撰著《湘軍志》的晚清大學者王闓運說「中興之業，實基自胡」，而沈卓然認為胡林翼應位列同治中興功首，《清史稿》評價他：長於綜核，干濟冠時。
曾國藩自己也曾在奏議中稱讚「潤芝（胡林翼）才力過國藩十倍」。曾國藩還說胡林翼之功在於「變風氣為第一，而蕩平疆土二千里次之」。李鴻章晚年，與人談舊事，常掛在口邊的是「先師曾文正公」與「前輩胡文忠公」（胡林翼謚「文忠」）。清人唐文治在《胡文忠公語錄序》中對胡林翼有兩句恰如其分的贊語：「此其量，江海之量；此其心，江海之心也。」《清史稿》對胡林翼識才、愛才和用才方面的過人之處也評價甚高，說他「馭將以誠，因材而造就之，多以功名顯」。
胡林翼在後世之所以鮮為人知，主要是因為他壯年早逝，才華未能充分地施展開來。「中興三名臣」之中，曾國藩享壽六十一歲，左宗棠更是以七十三歲高齡西歸，而胡林翼卻僅僅活了四十九歲。當時輿論普遍認為，若胡林翼不死，成就當不在曾國藩之下。
胡林翼出身頗有家資的書香門第，年輕時放蕩不羈，經常尋花問柳，目空一切。其父胡達源深以為憂，逼他刻苦攻讀聖賢之書，常為此掀髯動怒。後來，胡達源無奈之下只好將孽子送至好朋友、兩江總督陶澍的幕府，讓他去好好領教領教「軍管」的滋味。哪曾想到，胡林翼到了江寧（南京），半點也不收斂，依然我行我素，風流依舊。兩江總督陶澍嚴禁僚屬酒色荒嬉，卻唯獨對胡林翼網開一面，還將愛女毅然決然地許配給他，陶夫人再怎麼反對也無濟於事。其時，胡林翼在南京縱情山水，並流連忘返於秦淮河畔、釣魚巷中時，有人密告陶澍，不料陶澍卻說：「潤之（芝）之才，他日勤勞將十倍於我，後此將無暇行樂，此時姑縱之。」（黃濬：《花隨人聖庵摭憶》，上海書店出版社1998年版，第434頁）
更有趣的是，新婚之夕，大家四處都找不到新郎官胡林翼的影子，原來他獨自跑到外面喝酒去了，而且喝得爛醉如泥。這一回，陶夫人更加火冒三丈，埋怨陶澍看人走眼，選擇了這麼個混賬女婿，誤了女兒終身。陶澍回答道：「此子是瑚璉之器，將來必成大事，年少縱情，不足深責。他現在不玩，國家用材之時，他就沒有時間玩了。」
胡林翼有一次，胡林翼陪老丈人陶澍請當地名流吃飯，席間他侃侃而談，不管誰和他辯論都要被他一頓奚落甚至譏諷，結果被岳父罵作「浮萍耳」。此後，他便浪子回頭，開始鉚足了勁兒唸書，第二年鄉試高中，第三年又連捷中進士點翰林，時年僅二十五歲。