高允，字伯恭，渤海郡人。祖父高泰，事跡在其叔父《高湖傳》中有載。父高韜，少時以英朗知名，同鄉人封懿雅相敬慕。任慕容垂的太尉從事中郎。魏太祖平定中山，任高韜為丞相參軍。早年過世。
高允少年喪父，大器早成，有神奇的氣度，清河人崔玄伯見到他十分驚異，感歎說：「高子黃中內潤，文明外照，必為一代偉器，我只擔心自己不能親眼見到。」高允十來歲時，為祖父奔喪還歸本郡，家中財產都讓給兩個弟弟而自己身歸沙門，取名法淨。不久又還俗了。高允喜好文學，擔笈負書，千里求學。博通經史天文術數，尤其愛好《春秋公羊傳》。郡中召他為功曹。
神..三年(430)，魏世祖的舅舅陽平王杜超任征南大將軍，鎮守鄴城，任命高允為從事中郎，當時他已有四十多歲了。杜超因為春天快到而諸州囚犯多不能判決，於是上表讓高允與中郎呂熙等人分頭前往各州，共同評決獄事。呂熙等人都因貪污枉法獲罪，惟有高允因清廉公正而得到嘉賞。杜超幕府解散之後，高允回家教書，受其學業的有一千多人。神..四年(431)，他與盧玄等人一起被徵召，拜為中書博士。遷任侍郎，與太原張偉二人都以本官兼任衛大將軍、安樂王元范從事中郎。元范，是魏世祖的寵弟，西鎮長安，高允輔佐他很得當，秦地人很是稱讚他。不久高允就被徵召還朝了。高允曾經作《塞上翁詩》，詩有混同高興悲傷、遺落得失的情致。驃騎大將軍、樂平王元丕西討上絡，高允又以本官參與元丕軍事。記在《元丕傳》中。涼州平定後，因參與謀劃之功，朝廷賜高允爵汶陽子，加授建武將軍。
後來帝下詔讓高允與司徒崔浩編撰《國記》，以本官領著作郎。當時崔浩召集眾多術士，考校漢代以來的日月薄蝕、五星行度，並識別前史的誤失，另撰魏歷，拿給高允看。高允說：「天文歷數不可憑空而論。大凡善言遠古的必定驗於近世。況且漢代元年(前206)冬十月份，五星聚於東井，這本是歷術之淺。而今譏諷漢史，而不覺得這是錯誤的，恐怕後人譏今就像今天我們譏古一樣，鬧出笑話。」崔浩說：「你所說的謬妄指的是什麼？」高允說：「我查《星傳》，金水兩星常常附日而行。冬季十月，太陽在尾箕，昏沒於申南，而東井卻出於寅北。這兩星是什麼原因背日而行？這乃是史官想神化漢高祖受命之事，不再推之於理的結果。」崔浩說：「想要變化什麼地方不行，你獨不懷疑三星之聚，卻怪二星之來，是什麼道理？」高允說：「這不能夠空言相爭，應加審查才行。」當時在座的人都很奇怪，只有東宮少傅游雅說：「高君擅長歷數，應當不虛妄。」過了一年多，崔浩對高允說：「先前你所說的，不能使我心服口服，等到我重新考察一番，果然如你所說，五星以前三月聚於東井，而不是在十月份。」又對游雅說：「高允之術，猶如陽元的射箭技藝。」眾人全都感歎佩服他。高允雖然精於歷數，當初卻藏之於懷，也不論說，只有游雅屢屢以災異求教於他。高允說：「過去的人說，知之甚難，既已知道又怕洩漏，所以知道不如不知道。天下奇妙的道理甚多，為什麼偏偏要問這個。」游雅於是作罷。
不久高允以本官任秦王元翰師傅。後又命他教授魏恭宗經書，受到了很好的禮遇。帝又詔高允與侍郎公孫質、李虛、胡方回一同議定律令。魏世祖召高允一起討論刑政，高允的言論很得世宗賞識。帝問高允說：「政事千頭萬緒，什麼是第一位的？」當時，魏朝多禁封良田，又京城中遊民很多。高允因此說：「臣少時微賤，所瞭解的只有田耕之事，請讓臣說一說農事。古人說：一里方圓的範圍可以辟田三頃七十畝，百里方圓則有田三萬七千頃。如果農人勤耕，則每畝可增糧三斗，不勤則損失三斗。方圓百里增加減少的數量，合計有糧二百二十二萬斛，何況天下如此之廣呢？如若公私都有糧食儲備，即使遇上荒年，那又有什麼可憂慮的呢？」世祖很欣賞他的說法。於是廢除田禁，全部把它們交給老百姓。
當初，崔浩推薦冀、定、相、幽、並五州之士數十人，每人都當郡守。恭宗對崔浩說：「先召的人，也是州郡官職的人選，在職已久，勤勞政事未見酬答。現今可先補前番徵召的人為郡縣守令，以新召的人代為郎吏。而且太守縣令治理百姓，應該派那些有經驗的人。」崔浩堅決不讓步，固執地派了那些新徵召的人。高允聽說此事，對東宮博士管恬說：「崔公要遭殃了！堅持自己的錯誤，而要與皇上爭個高低，這哪會有什麼好結果。」
遼東公翟黑子得到魏世祖的寵信，出使并州，得到了千匹絹帛的賄賂，不久事發。黑子討教於高允說：「主上問我，是匯報真實情況還是說假話？」高允說：「公是皇上寵臣，回答時可據實以報，你又可自表忠誠，必然會沒什麼事的。」中書侍郎崔覽、公孫質等人都說自首後罪不可測，應該說假話。黑子以崔覽等人為知己，反而對高允發脾氣說：「你的說法，是引誘我去死，那太不值得了！」於是與高允斷交。黑子在皇帝面前說了假話，終被世祖疏遠，最終獲罪被殺。
當時，著作令史閔湛、卻..性情奸巧邪佞，被崔浩所信任。見到崔浩所註釋的《詩》、《論語》、《尚書》、《易》，便上疏，說馬、鄭、王、賈雖然注述《六經》，都多有疏漏謬妄，不如崔浩的精到細微。請求皇帝收集國內諸書，藏於秘書府中。頒發崔浩所注述的，命天下學子學習。並請求皇帝下詔讓崔浩註釋《禮傳》，讓後生能夠看到精正的經義。崔浩也上表推薦說閔湛有著述的才能。接著閔湛等勸崔浩刊印自己所撰的國史，以圖不朽，想要彰明崔浩執筆之績。高允聽說，對著作郎宗欽說：「閔湛的所作所為，一不小心，我擔心它日後會成為崔門的萬世災禍。這樣我們這些曾經參與其事的人都要大禍臨頭了。」不久，災難就降臨了。
當初，崔浩被收捕，高允在中書省值班。恭宗讓東宮侍郎吳延召來高允，讓他留宿宮內。第二天，恭宗入廷奏啟魏世祖，命高允隨行。到宮門前，恭宗對高允說：「進去見皇上，我隨你去。假如皇上有什麼話問你，你就依我告訴你的應答。」高允說：「這是為的什麼事呢？」恭宗說：「進去你就知道了。」就進去見皇帝。恭宗說：「中書侍郎高允自在臣宮中，臣與他相處多年，高允小心謹慎，臣很瞭解他。高允雖然與崔浩同事，但他身份微賤，只有聽命於崔浩。臣請求寬恕他的性命。」世祖召見高允，對他說：「《國書》都是崔浩所寫的嗎？」高允回答說：「《太祖記》，前著作郎鄧淵所寫。《先帝記》以及《今記》，為臣與崔浩一同寫作。但是崔浩政事太多，只是總裁修訂而已。至於註疏，為臣所作多於崔浩。」世祖大怒說：「這比崔浩的罪行還嚴重，怎能留給生路！」恭宗說：「天威嚴重，高允是小臣，一時間迷亂失次。臣先前問他，他說都是崔浩寫的。」世祖問：「真像東宮太子說的那樣？」高允說：「為臣才薄，謬參著作，犯觸天威，罪應滅族，今天已到臨死了，決不敢虛妄。殿下因為臣為他講書時間很長，哀憐為臣，為臣求命。如皇上不問臣子，臣便沒有這番話。既問了，臣如實對答，不敢絲毫迷亂。」魏世祖對恭宗說：「正直，這也是人情所難，而你能臨死不移，這就更難了！而且以實對君，真是忠貞的臣子。像你剛才這一番話，朕寧願漏一有罪的人，也應該寬恕你。」高允竟得免罪。於是召崔浩到皇帝面前，讓人詰問他。崔浩惶恐恍惚不能應答。高允事事申明，有條有理。當時世祖憤怒至極，命令高允擬詔書，自崔浩以下、僮僕吏卒以上一百二十八人全部夷滅九族。高允表示懷疑而不擬詔，帝頻頻催辦。高允請求再見一次皇上，然後再擬詔書。帝讓他去了，高允說：「崔浩所犯，如還有別的罪，臣不清楚。如只是這一項罪行，還不至於被殺。」世祖震怒，下令武士綁了他。恭宗又拜請。世祖說：「如果沒有這人招惹我，就該有數千人死了。」崔浩最終還是被滅了五族，其餘的人都僅以身死。宗欽臨刑時說：「高允大概是聖人吧！」
恭宗後來責備高允說：「為人應當把握時機，不知見好就收，學識又有什麼益處？在那種時候，我從旁點撥你，你為什麼不順著點，讓皇上那樣動怒。現在我每每想起來，還心有餘悸。」高允說：「為臣本是東野一介平凡書生，本來就無做官的打算。逢朝廷休明之期，應朝廷選士之舉，為官鳳池，參撰麟閣，屍素官榮，妨賢已久。大凡史書，都是帝王的實錄，是將來的寶鑒，通過史書，今人可以觀往，後人可以知今。所以言行舉動，無不備載，所以人君應該謹慎從事。然而崔浩世受特殊恩遇，榮耀當時，他卻辜負聖恩，自招毀滅。就崔浩的行跡，也時有可論之言。崔浩以蓬蒿之才，負朝廷棟樑之托，在朝廷無可稱讚的節操，在私下裡也無可稱道，私慾淹沒了他的公正廉潔，愛憎之情障蔽了他公理之心，這是崔浩的罪責。至於書寫朝廷起居的事情，說國家得失的事實，這也是史書筆法的大體模式，沒有什麼違背。但為臣與崔浩其實是同參一事，死生榮辱，義無獨顧。能有今天，實在是多虧殿下仁慈廣大，違心苟免，不是為臣當初本意。」恭宗面容改觀，稱歎不已。高允後來跟人說，我不遵照東宮太子安排的去做，是擔心這樣會辜負翟黑子。
恭宗晚期，頗為親近左右侍臣，營立田園，以取其利。高允諫勸說：「天地無私，所以能覆載萬物；王者無私，故能包養眾生。過去的明達王者，以至公之心主宰萬物，所以藏金於山，藏珠於淵；以無私之心昭示天下，用至儉之言訓示萬民，所以他們美名盈溢，千載不衰。而今殿下您是國家儲君，四海歸心，您的言行舉動，為萬方所遵，而您卻營立私田，畜養雞犬，甚至販酒市井，與民爭利，天下議論您的聲音四方流布，無法追掩。天下，是殿下的天下，您富有四海，何求而不能得到，什麼願望不能使人順從，卻與販夫販婦們爭此尺寸之利。過去虢國快亡時，神靈下降，賜予田地，終而喪滅其國。漢代靈帝，不修飾作為人君的持重，喜歡與宮人們一起列市叫賣，私立府藏，以營求小利，終有顛覆傾亂之禍。前鑒如此，很可畏懼。大凡作為人君的，必須在擇人問題上十分審慎。故稱知人則聖哲明智，是皇帝難以做到的事。《商書》說「不要親近小人」，孔夫子有言，小人如親近他們便行為不遜，疏遠他們則心懷怨恨。武王愛護周、邵、齊、畢諸公，所以能稱王天下。殷紂溺愛飛廉、惡來，所以喪失自己的國家。縱觀古今興亡之事，無不由皇帝擇人所決定。而今東宮的確可以說缺人才，但英傑卻並不少。一向以來侍御在您左右的，恐怕不是將來您在朝的人選。所以臣希望殿下您能稍稍體察為臣愚言，斥出邪佞，親近忠良，所在園田，分給貧苦的人，畜產販賣之類，都要適時收散而去。像這樣的話，則休明的稱讚一天天到來，議論與批評就會逐漸消除。」恭宗沒接受他的意見。
恭宗去世，高允久久未能進見。後來魏世祖召見他，高允升階逴欷，悲不能止。魏世祖流著眼淚，命高允退出。左右官員沒人知道其中緣故，議論說：「臣等見高允無由而泣，讓陛下為之悲傷，什麼原因呢？」世祖聽說，召集他們說：「你們不知道高允很悲傷嗎？」左右說：「為臣看到高允無言而泣，陛下為之悲傷，所以我們在竊竊議論。」世祖說：「崔浩被誅殺時，高允也應該去死，是東宮苦諫，才免於一死。今天沒有了東宮，高允看見朕因而很悲傷啊。」
高允上表說：「往年領詔，令臣收集天文災異，使事類相從，大致可以閱讀了。臣聽說箕子陳表而《洪範》作，宣尼述史而《春秋》著，都是用來彰明后土，景測皇天的東西。所以它們能先其善惡而驗以災異，隨其失得而效以福禍，天人的確相去甚遠，但又如聲、響相應，很可畏懼。自古以來的帝王無不尊崇其道而尋其奧妙，以此修正自身。其後的史官都記載了他們的事，以為鑒戒。漢成帝時，光祿大夫劉向見到漢代的命運很危險，大權歸於外戚，屢屢陳述妖異之事希望引起重視而不被採納。於是檢索《洪範》、《春秋》中災異報應的人與事而為其作傳，企圖以此感悟其主，但皇帝終於聽不進他的話，終而危亡。這難道不是很悲哀嗎？為臣竊以為陛下神武齊天，睿鑒深遠，欽若稽古，都由舊章，前言往行，無不深究，這是前代皇帝所趕不上的。為臣學識不廣博，識見寡少淺薄，害怕無以拓廣聖德，仰酬皇上明旨。今天謹依《洪範傳》、《天文志》收集其事實大要，略其文辭，共為八篇。」世祖看了稱讚寫得好，說：「高允對災異的瞭解，哪比崔浩少？」等到高宗即位，高允出了許多計謀。司徒陸麗等人都受到皇帝重賞，高允既不蒙褒揚，又終身不發一言。他的忠誠而不自矜，大致都如此類。
給事中郭善明，性格十分機巧，老想呈顯自己的才能，勸高宗大興宮殿。高允勸諫說：「我聽說太祖道武皇帝平定了天下後才開始興修都邑。他一旦有所修造，不是農閒之季，絕不興工。現在建國已經很久了，宮室也已經完備了。永安前殿完全可以用來接受萬國的朝賀，西堂的溫室也可以用來讓聖上休息，紫樓台高可以用來觀望遠近。如果要再修更壯麗的宮室，也應當慢慢地準備，不可急於求成。估計砍材運土以及各種雜役就需兩萬多人，成年人做工，老少供飯，就合四萬人半年才成。古人言：一夫不耕就有人會挨餓，一婦不織就有人會受凍。何況是數萬之眾無法從事耕織生產，他們所要耗費花銷，實在太多了。往古時推論再來驗證現在，必然有借鑒之效啊，希望皇上認真思考。」高宗接納了他的意見。
高允因高宗繼承太平之業但風俗依舊，婚娶喪葬都不依古制，於是勸諫說：
「前朝的時候，多次頒發命令，禁止婚娶不得作樂以及葬送之日的歌謠、鼓舞、殺牲、燒葬，都在禁令之中。雖然命令頒布很久但風俗仍未改變，大概這是因為處於上位的人不能立即改正，下面的人也就習以為俗，教化遲慢，已到這種地步。過去周文王靠百里之地，修德施政先從寡妻開始，再到兄弟，最後到家國，三分天下而有其二。聰明的執政者都要先從近處開始。詩經中講：『你們接受了教化，百姓才會倣傚啊。』作為君主，一舉一動，不可以不慎重啊。
禮記中講，嫁女的家裡要三日不滅蠟燭；娶媳婦的人家，三天不進行樂舞。現在各個王室每當娶婦人，都讓樂部派人來舞奏表演，卻惟獨禁止百姓作樂，這是第一個不同啊。
古時結婚之人，都選擇德義之門，精心挑選貞潔賢雅的女子，先進行媒聘，繼後送給禮品，會集親友用來表示對別人的尊重，親自駕車用來表示尊敬，婚姻之際，就是如此的困難。現在各個王子年方十五便賜給妻子另起居室，但能配之人，有的年齡過於懸殊，有的出自犯罪之家，用她們來和王子結合，成為其他婦女的表率，這是最大的失禮啊。往年到現在，多有核查彈劾，大概是諸王過於嗜酒而導致詰責，但原因之起，也是因色衰相棄，導致這種糾紛。現在皇子娶妻，多出於宮庭，令天下百姓，必須依照禮法所定，這是第二個不同啊。
萬物之生，沒有不死的，古時的聖主明君，定出制度，所以養生送死，見於人情。如果毀生用來奉死，就是聖人所禁止的了。但是葬是藏的意思，死者不可能再見面了，所以深藏下他們，過去將堯葬於轂，而百姓並不停止在這塊土地上耕種，舜被葬於蒼梧，百姓並不因此不做買賣。秦始皇造地下宮殿，下面有三條泉水，金銀財寶不可計數，死不多時，就被焚屍掘墓，由此，堯舜勤儉，始皇奢侈，對錯就很顯然了。現在國家營造葬事，費耗巨億，一旦焚亡，全為灰燼，這麼奢侈怎麼有益於死者呢，古時的大臣都不以為然。現在上面為之忙個不停，而讓下邊百姓必須做到，這是第三個不同啊。
古時喪葬必立屍主牌位，按照長幼大小序列，以便讓吊亡者有所憑依來送致祭食品，現在已埋葬的人，人們只求其相貌類似者敬如父母，美麗的敬如夫妻，敗風傷俗，擾亂情感禮節，是最大之過呀，上面不禁止，下邊不改正杜絕，這是第四點不同呀。
所以，祭祀是為了確定禮儀，教化天下百姓，所以聖明之君特別重視。到了爵器盈而不飲，菜餚幹了不吃，音樂不是雅聲不奏，物非正色不陳列。現在的大會，內外不分，相互混雜，醉酒喧鬧，沒有儀式，又讓一些戲子表演，污辱視聽，朝廷以此習俗為美，而責備風俗不清純，這是第五點不同啊。
現在陛下為王的王，承襲晉末大亂以來的弊俗而不猛烈地糾正改變，來扭正惡習，我擔心天下百姓將永遠不能聽聞禮教了呀。」
高允這樣說並非一次，高宗從容聽著他的話，有時即使有衝撞之處或者皇帝不想再聽時，就讓左右將他扶出去。遇有不便當朝說的，高允就請求私下相見。高宗知道高允的意思，把左右摒退後再等待他，對他十分敬重，有時早晨進宮晚上出來，有時幾日在宮裡，朝臣都不知他和皇帝說了什麼。
有的人上書表述這樣做的得失。高宗看後對群臣說：「君父同一啊，父有對錯，兒子為什麼不於眾人之中做書規勸，使他人知道錯而不在家內隱瞞呀。這不是因為是父親，恐怕彰惡於外嘛。現在國家善惡，不能面陳而上表公開勸阻，這不是故意宣揚君主之錯而表明自己的正確嗎？像高允這樣的人，才是忠臣啊。我有對錯，經常正言面論，哪怕是我所不願聽的也要侃侃而言，不加避躲。我知道自己的過失而天下不知道他在規勸，這不是忠直嗎。你們在我左右，我不曾聽到一句正論，但伺機見我高興時求官乞職。你們持弓帶刀侍奉我左右，等於是白白站立，卻都做到公、王一職，這個人用筆幫助我匡正錯誤助益國家，官才不過做到一個郎中，你們就不自愧嗎？」於是任命高允為中書令，仍兼著作郎。司徒陸麗說：「高允雖然蒙受恩寵，但家裡貧窮得像普通百姓，妻兒都無以為生。」高宗怒道：「怎麼不早說，現在見我用他，才告訴他的貧困之狀！」這天到了高允家中，只有草屋幾間，布被麻袍，廚房中只有一點鹽菜。高宗歎息說：「古時的人有清貧到這樣的嗎？」立即賜給綿帛五百匹，糧食一千斛，拜高允長子高忱為綏遠將軍、長樂太守。高允多次上表堅決推辭，高宗不答應。起初同高允一同受到徵召的游雅等大多已經官至侯爵了，以及高允部下的官吏一百多人也都官至刺史二千石，而高允為郎中二十七年沒有升過官，當時百官沒有俸祿，高允常讓自己的幾個兒子砍柴採果來自己供養自己。
開始，尚書竇瑾因事被殺，其子竇遵逃到山谷之中，其母焦氏被收進縣官衙門，後因焦氏年老而得免受辱。竇瑾的親朋故舊中沒有敢資助的人。高允可憐焦氏年老，將其留在家予以保護，六年後，竇遵才得到恩赦。高允的品行大都如此。後轉為太常卿，本來的職責仍同過去一樣。高允上《代都賦》，來規勸皇上，也與《二京賦》相似。因文字太多，本書就不記載了。當時中書博士索敞和侍郎傅默、梁祚論辯名字的貴賤，議論紛紛，高允於是撰《名字論》來解釋其迷惑，有許多考證。後來又以本官領秘書監，解除太常卿之職，晉爵為梁誠侯，加左將軍。
最初，高允同游雅以及太原張偉同業友好，游雅曾評論高允說：「大概喜怒是一生所不可能沒有的。但以前史書記載卓公為人寬厚持中，文饒度量宏大，偏心的人有的不相信。我和高允相處四十多年了，沒有見到他有喜怒之色，不得不相信了呀。高允內文明而外柔弱，說話吶吶似乎不能出口，我常叫他『文子』。崔公對我說：『高允才大學博，是一代名士，所缺乏的是一種矯直剛昂的風節啊。』我認為有道理。司徒被處罰，起因是很小的錯失，卻受到了皇帝下令斥責，崔公聲啞股戰而不能說話，宗飲以下更是伏地流汗，面無人色。惟獨高允陳述事理，解釋是非，辭又清辯，聲音洪亮，明主為此而動容，聽者無不予以稱讚。仁義惠到同僚親友，因此而能保住身家。向來所謂正直的人，更能做到這樣嗎？宗愛他有勢力的時候，威名振於四海，曾經召集百官，王公以下的人都望庭中相拜，獨有高允是到階前長揖，由此可以看到，汲長孺可以躺著見衛青，這怎麼能說是抗禮呢？向來所謂風節的人，能夠這麼稱讚他們嗎？知人固然很不容易，但人也不易知道自己，我既然失之在內心，崔浩也外顯漏於形體。鍾期只限於聽伯牙之奏樂，管仲也只有鮑叔最能明其心跡，很少有人能夠這樣啊。」高允的為人被當時人推崇如此。
高宗敬重高允，通常不呼他的名字，習慣稱之為「令公」。於是「令公」之號傳遍四方。高宗去世，顯祖居位時還很幼小不能承擔大業，乙渾專權，圖謀危及國家，文明太后殺了他，召高允到禁宮中參與謀斷大事，又下詔給高允說：「很久以來，學校不建，為日已久，道肆陵遲，學業荒廢，學子憂歎，又見於今。朕繼承大位八方安寧，查考舊章，想設置學官於郡國，使進修之業，能有所寄托。你為儒宗元老，朝庭內外德名遠揚，應當同中書、秘書二省辟員共同參商後奏報。」高允上表說：「我聽說經綸大業，必須以教養為先導，規範九州也要靠文德來輔其成功。所以要在祭禮後出奏《周頌》，讓《魯頌》在宴廳上播揚，但從永嘉以來，舊的規章沒有了，鄉間再無雅頌的聲樂，城市杜絕了隆重典禮的制度，道業中斷近一百五十年。仰想先朝曾準備恢復規章制度，發揚聖賢的思想風尚，因為正值多事之時，未能最終完成。陛下敬重文明，繼承大業，萬國安寧，風調雨順，申明祖宗的遺志，興盛周禮的絕業，發佈德音，振興文教，士民百姓，都深感為幸。我承受詔命，並會同中書、秘書二省披閱史書，準備制定規章制度，怎麼能不敦促儒者去從事教育之業，敬重學習以堅定這個道理呢。此詔大義，實與古義相通，當秉遵聖旨，興建學校以正風俗，使先民之道再現於今日；讀書之音，流傳在四海。請求規定每大郡設立博士二人，助教四人，收學生一百人；其餘的郡府，立博士二人，助數二人，收學生六十人，最次的郡府立博士一人，助教一人，收學生四十人。博士應是博通各種經典，世代忠貞清白能為人師的人，年齡當在四十以上。助教選拔也和博士同，年齡限在三十歲以上。如果學業早已有成，有才能任教授者，就不限年齡，學生要收郡府中品行清廉，素有名望，可以遵循名數的人，先從高門望族中挑選，再往下延推至其他人家。」顯祖聽從了他的意見。郡府成立學校，就是從此開始的。
後來高允因年老多病，屢次上書請求告老還鄉。皇帝不許，於是寫下告老詩，又因過去一同共事之人已零落將盡，感懷故去之人，做《征士頌》，大約限於應命的人，如果有徵召命令而沒到者，則付諸缺如。群賢之行，敘述主要梗概。現列於下面：
「中書侍郎、固安伯范陽人盧玄，字子真
郡功曹史博陵人崔綽，字茂祖
河內太守、下樂侯廣寧人燕崇，字玄略
上黨太守、高邑侯廣寧人常陟，字公山
征獻大將軍從事中郎勃海人高毗，字子商
河西太守、饒陽子博陵人許堪，字祖根
中書郎、新豐侯京兆人杜銓，字士衡
征西大將軍從事中郎京兆人書韋閬，字友規
京兆太守趙郡人李詵，字令孫
太常博士、鉅鹿公趙郡人李靈，字虎符
中書郎中、即丘子趙郡人李遐，字仲熙
營州刺史、建安公太原人張偉，字仲業
輔國大將軍從事中郎范陽人祖邁
征東大將軍從事中郎范陽人祖侃，字士倫
東郡太守、蒲縣子中山人劉策
濮陽太守、真定子常山人許深
行司隸校尉、中都侯西河人宋宣，字道茂
中書郎燕郡人劉遐，字彥鑒
中書郎、武恆子河間人邢穎，字宗敬
滄水太守、浮陽侯勃海人高濟，字叔民
太平太守、平原子雁門人李熙，字士元
秘書監、梁郡公廣平人游雅，字伯度
廷尉正、安平子博陵人崔建，字興祖
廣平太守、列人侯西河人宋..
州主簿長樂人潘元符
郡功曹長樂人杜熙
征東大將軍從事中郎中山人張綱
中書郎上谷人張誕，字叔術
秘書郎雁門人王道雅
秘書郎雁門人閔弼
衛大將軍從事中郎中山人郎苗
大司馬從事中郎上谷人侯辯
陳留郡太守、高邑子趙郡人，品秀才
大概諸王的御士之道，沒有不是憑著收伏群才，用來興隆治道的，所以周文王以擁有眾多士人安定天下，漢武帝以得到賢才成就一代盛世。這些都記載於史書之中，是自古的恆常之理。魏自神慶以來，天下平定，誅殺赫連幾世竊據之勢，橫掃蕩平不服順的敵寇，南邊平定江楚一帶，西邊掃蕩涼城之地，很遠的地方都仰慕而來，於是休兵息甲，修立文學，延攬賢才，咨詢政事。夢想賢哲，想遇這種人物，詢訪各有關部門，來訪求有名之士。都稱范陽盧玄等四十二人，是士冠之裔，各個州縣都有名聲，可以作為羽翼之用。皇帝立即親自發佈命令，徵召盧玄等人。於是留著官位等待，空著爵位準備分封，真正來應命就征的有三十五人，其他按慣例於各州郡所派選之人不可勝數。於是英士滿朝，濟濟一堂而為一時之美。過去我和他們都蒙抬舉，有時從容於廊廟，有時游宴在私門，上讀公務，下盡歡娛，認為千載一時之聚，從此開始。日月推移，吉凶代謝，同時受征之人，大都零落將盡。在的只有幾個，也都分於各處，過去的快樂變為悲涼之歎。張仲業東臨營州，遲遲不能返還，一同相敘，共憐惜於垂暮之年，述情於夕陽將落之際。這個人不幸又突然故去。在朝中的都是後進的學子，與我傍居的也不再是舊日之人。進入沒有交心的地方，出入沒有表志的地方。自己反省自己，所以感慨不已，大概稱頌的人讚美盛德的形容，也可以用來做長言來寄托我對他們的思念。不做文已二十年了，但是事情記於心中，怎麼可以埋沒呢？於是寫作頌詞說：
紫氣干宵，群雄亂夏，王龔徂征，戎東屢駕，掃蕩游氛，克剪驕霸，四海從風，八垠漸化。政數無外，既寧且一，偃武..兵，唯文是恤。帝乃旁求，搜賢舉逸，巖隱投竿，異人並出。
....盧生，量遠思純，鑽道據德，遊藝依仁。旌弓既招，釋褐投巾，攝齊升堂，嘉謀日陣，自東徂南，躍馬馳輪，僭馮影附，劉以和親。
茂祖煢單，夙離不造，克己勉躬，聿隆家道。敦心六經，游思文藻，終辭寵命，以之自保。
燕、常篤信，自行靡遺，位不苟進，任理棲遲。居沖守約，好讓善推，思賢樂古，如渴如饑。
子翼致遠，道賜悟深，相期以義，相和若琴。並參幕府，俱發德音，優遊卒歲，聊以寄心。
祖根運會，克光厥猷，仰緣朝思，俯因德友。功雖後建，祿實先受，班同舊臣，位並群後。
士衡孤立，內省靡疚，言不崇華，交不遺舊。以產則貧，論道則富，所謂伊人，實邦之秀。
卓矣友規，稟茲淑亮，存彼大方，擯此細讓。神與理冥，形隨流浪，雖屈王侯，莫廢其尚。
趙實名區，世多奇士，山嶽所鍾，挺生三李。矯以清風，抑抑容止，初九而潛，望雲而起。
詵尹西都，靈惟作傳，垂訓皇宮，載理雲霧。熙雖中夭，跡階郎署，餘塵可挹，終亦顯著。
仲業淵長，雅性清到，憲章古式，綢繆典誥。時值艱難，常一其操，納眾以仁，訓下以孝，化被龍川，民歸其教。
邁則英賢，侃亦稱選，聞達邦家，名行素顯。志在兼濟，豈伊獨善，繩匠弗顧，功不獲展。
劉、許履忠，竭力致躬，出能聘說，入獻其功。..軒一舉，撓燕下崇，名彰魏世，享業亦隆。
道茂夙成，弱冠播名，與朋以信，行物以誠。怡怡昆弟，穆穆家庭，發響九皋，翰飛紫冥。頻在省闥，亦司於京，刑以之中，政以之平。
猗歟彥鑒，思參文雅，率性任真，器成非假。靡矜於高，莫恥於下，乃謝朱門，歸跡林野。
宗敬延譽，號為四駿，華藻雲飛，金聲夙振。中遇沈蠿，賦德以訊，忠顯於辭，理出於韻。
高滄朗達，默識淵通，領新悟異，發自心胸。質侔和璧，文炳雕龍，耀姿天邑，衣錦舊邦。
士元先覺，介焉不惑，振袂來庭，始賓王國。蹈方履正，好是繩墨，淑人君子，其儀不忒。
孔稱游夏，漢美淵雲，越哉伯度，出類逾群。司言秘閣，作牧河汾，移風易俗，理亂解紛。融彼滯義，渙此潛文，儒道以析，九流以分。
崔、宋二賢，誕性英偉，擢穎閭閻，聞名象魏。謇謇儀形，邈邈風氣，達而不矜，素而能賁。
潘符詄尚，杜熙好和，清不潔流，渾不同波。絕希龍津，止分常科，幽而逾顯，損而逾多。
張綱柔謙，叔術正直，道雅洽聞，弼為兼識。拔萃衡門，俱漸鴻翼，發憤忘餐，豈要鬥食。率禮從仁，罔愆於式，失不系心，得不形色。
郎苗始舉，用均已試，智足週身，言足為治。性協於時，情敏於高。與今而同，與古曷異。
物以利移，人以酒昏，侯生潔己，唯文是敦。日縱醇醪，逾敬逾溫，其在私室，如涉公門。
秀才之性，柔而執競，屆陂南秦，申威致命。誘之以權，矯之以正，帝道用光，邊土納慶。
群賢遭世，顯名有代，志竭其忠，才盡其概。禮襲朱裳，腰紐雙佩，榮曜當時，風高千載。君臣相遇，理實難偕，昔因朝命，舉之克諧。披衿散想，解帶舒懷，此忻如昨，存亡奄乘。靜言思之，中心九摧，揮毫頌德，誛爾增哀。
皇興年間，皇帝下詔讓高允兼任太常，到兗州祭祀孔子廟，對高允說：「這次檢閱德行的行動不要推辭了。」後來高允跟隨顯祖北伐，大勝而歸，到武川鎮時，奏上《北伐頌》，文中寫道：「皇矣上天，降鑒惟德，眷命有魏，照臨萬國。禮化丕融，王猷允塞，靜亂以威，穆民以則。北虜舊隸，稟政在蕃，往因時囗，逃命北轅。世襲凶軌，背忠食言，招亡聚盜，丑類實繁。敢率犬羊，圖縱猖獗，乃詔訓師，興戈北伐。躍馬裹糧，星馳電發，撲討虔劉，肆陳斧鉞。斧鉞暫陣，馘翦厥旅，積骸填谷，流血成浦。元兇狐奔，假息窮墅，爪牙既摧，腹心亦阻。周之忠厚，存及行葦，翼翼聖明，有兼斯美。澤被京觀，垂此仁旨，封屍野獲，惠加生死。生死蒙惠，人欣覆育，理貫幽冥，澤漸殊域。物歸其誠，神獻其福，遐邇斯懷，無思不服。古稱善兵，歷時始捷，今也用師，辰不及浹。六軍克合，萬邦以協，義著春秋，功銘玉牒，載興頌聲，播之來葉。」顯祖覽後認為寫得很好。
顯祖身體有不舒服的時候，因高祖當時很幼小，所以想立京兆王子推為太子，召集諸大臣一個個地詢問。高允進來跪著上前哭著說：「我不敢多說，怕有勞皇上聖聽。希望陛下上思宗廟托付的重要，遠追周公輔佐成王的舊事。」於是顯祖將帝位傳給了高祖，並賜高允千匹錦帛，表彰高允的忠直亮達。後又陞遷為中書監加散騎常侍。然而高允雖然能夠對古老典故及歷史之事有很多掌握，卻不能夠專心下來勤奮地專心著述。當時他和校書郎劉模有一些輯輟，大部分是接續崔浩的舊作，仿照春秋的體裁，而且當時就有刪削糾正的地方。從高宗到顯祖，軍國的書信檄文，大多是高允所寫。後來就推薦了高閭來代替自己。因他有幫助討論決定重大政策的功勞，晉爵為咸陽公，加封為鎮東將軍。
不久又授命高允為持使節、散騎常侍、征西將軍、懷州刺史。高允秋季巡視邊境，詢問百姓疾苦，到了邵縣，發現邵公廟被毀而未重新塑立，於是說：「邵公賢德，現在對他的廟毀壞而不修復，無法拜祭，想為善的人不就沒有盼望了嗎？」於是上表請求對邵公廟進行修葺。當時高允已經年近九十了，仍在勸百姓注重學業，使風化相當地盛行。但是儒士為人優柔，不善於決斷辦事。後來到了正光年間，中散大夫、中書舍人河內人常景追思高允，率領郡中故老，在野王的南邊為高允立祠，樹碑，以為紀念。
太和二年(478)，高允又因年老乞求回歸故里，上了十多次奏章，皇上終究沒有允許，於是因病版老還鄉。第二年，皇上又下詔用舒適的車徵召他，命令各州縣沿途照料。到了都城，拜為鎮軍大將軍、領中書監。高允堅決推辭沒被允許，皇上讓人扶攙著引入內殿，修改制定《皇誥》。高允上《酒訓》一文：
「臣被敕論集往世酒之敗德，以為酒訓。臣以朽邁，人倫所棄，而殊恩過隆，錄臣於將歿之年，勖臣於已墜之地。奉命驚惶，喜懼兼甚。不知何事可以上答。伏惟陛下以睿哲之姿，撫怡萬國，太皇太后以聖德之廣，濟育群生。普天之下，罔不稱賴。然日昃憂勤，虛求不已，思鑒往事，以為警戒。此之至誠，悟通百靈，而況於百官士民。不勝踴躍，謹竭其所見，作酒訓一篇。但臣愚短，加以荒廢，辭義鄙拙，不足觀采。伏願聖慈，體臣胓胓之情，恕臣狂瞽之意，其詞曰：
『自古聖王，其為饗也，玄酒在堂而..酒在下，所以崇本重原，降於滋味。雖泛爵旅行，不及於亂。故能禮率而敬不虧，事畢而儀不忒。非由斯致，是失其道。將何以范時軌物，重之於世？歷觀往代成敗之效，吉凶由人，不在數也。商辛耽酒，殷道以之亡；公旦陳誥，周德以之昌。子反昏酣而致斃，穆生不飲而身光。或長世而為戒，或百代而流芳。酒之為狀，變惑情性，雖曰哲人，孰能自競？在官者殆於政也，為下者慢於令也，聰達之士荒於聽也，柔順之倫興于于諍也，久而不悛，致於病也。豈止於病。乃損其命。諺亦有云：其益如毫，其損如刀。言所益者，止於一味之益，不亦寡乎。言所損者，夭年亂志，夭亂之損，不亦夥乎？無以酒荒而陷其身，無以酒狂而喪其倫。速邦失道，流浪漂津。不師不遵，反將何因。詩不言乎，「如切如誾，如琢如磨」，朋友之義也。作官以箴之，申謨以禁之，君臣之道也。其言也善，則三復而佩之，言之不善，則哀矜而貸之。此實先王納規之意。往者有晉，士多失度，肆散誕以為不羈，縱長酣以為高達，調酒之頌，以相眩曜。稱堯舜有千鍾百觚之飲，著非法之言，引大聖為譬，以則天之明，豈其然乎？且子思有雲，夫子之飲，不能一升。以此推之，千鍾百觚皆為妄也。
今大魏應圖，重明御世，化之所暨，無思不服，仁風敦洽於四海。太皇太后以至德之隆，誨而不倦，憂勤備於皇情，誥訓行於無外。故能道協兩儀，功同覆載。仁恩下逮，罔有不遵，普天率土，靡不蒙賴。在朝之士，有志之人，宜克己從善，履正存貞，節酒口為度，順德以為經。悟昏飲之美疾，審敬慎之彌榮。遵孝道以致養，顯父母而揚名。蹈閔曾之前軌，遣仁風於後生。仰以答所授，俯以保其成。可不勉歟，可不勉歟！」
高祖閱後十分高興，常將此文放在自己的身邊。
下詔讓高允進殿時可以乘車，朝賀時可以不拜。第二年，讓高允商議制定律令。高允雖年近百歲，但他的志向知識並沒有因之減少，仍然專心於自己的舊職，披閱史書。皇上又下令說：「高允年齡太大，也已經到了很危險的境地，但他家裡貧困，養給供應很微薄，可以讓樂部派一個樂隊，每五天到高允那裡去演奏，使高允心情愉快。」特地賜高允蜀牛一頭，四望蜀車一輛，素幾杖各一，蜀刀一口，又賜給珍奇食物，每到春秋季節經常送到他的住處。不久又命令朝廷負責膳食的職官，每逢初一、十五送去牛肉美酒，衣服綿絹，按月撥發。高允都將之分送給親朋好友。當時的貴臣顯門之後大都已成為大官，而高允的子弟都沒有官爵，其清廉謙讓就是這樣。後又遷升他為尚書、散騎常侍，經常請他入宮，備幾杖，向他垂問國家政事。太和十年(486)，加封高允為光祿大夫，金章紫緩。朝之大議，都前來看望問候。
魏朝法律開始時很嚴苛，朝臣大多被杖罰過。高允經歷了五代皇帝，出入三個省衙，五十多年，始終沒有遇到過譴責與棒笞的處罰。當初，真君年間因獄訟新案太多，開始讓中書用經義來決斷疑案。高允根據律法評判行刑，三十多年，內外都稱讚高允的公正公平。高允認為，官司的事關係到百姓的生命，常常感歎地說：「皋陶是至德的人啊，但是他的兒子英蓼卻先死了。劉邦項羽之時，英布雖是犯人而能稱王。經歷世事很久，仍然可能會有犯法的危險，何況普通人怎麼可能沒有過錯呢？」
第二年四月，皇上在西郊有事情，下詔讓用皇帝所乘的馬車接高允到西郊皇帝所在的板殿去觀看風景，忽然馬受驚狂奔，車翻人傷，傷及眼眉三處。高祖、文明太后派醫攜藥前往護理治療，撫慰探望。負責駕車者將給予重罪，高允奏稱自己並未受大傷，乞請免了駕車人之罪。以前曾命令中黃門蘇興壽負責攙扶高允，曾經在下雪時遇到猛犬而驚懼跌倒，扶他的人都十分害怕、高允安慰勸勉他們，不讓上邊聞知此事。蘇興壽稱接待扶持高允共三年，沒有發現高允有過忿怒的臉色，對人循循善誘，誨人不倦，晝夜手裡常常拿著書，翻看吟詠，對親友篤厚，對故舊思念，虛己待人，雖然地位高貴，但志向貧素淡泊，素來喜好音樂，每有歌唱人來為他歌舞演唱，他常常和著節拍而稱讚。又很相信佛家之學，經常安排齋飯請僧人講誦佛法，平生喜歡善行惡殺。生性又十分疏簡，從不妄加交遊。顯祖平定青齊後，將其中有名望的大族之人遷移到代州。當時許多士人因流動遷移到這麼遠的地方，都飢寒交迫。遷來的人中，有許多是高允的妻族之人，都走到高允門前，高允把自己的財產全部拿出來用來周濟他們，慰問周到，人們沒有不感謝他的仁厚的。高允又對這些遷移來的人根據不同才能上書請皇上任用。當時議論的人都認為剛歸順的人容易產生異心，高允說取材任能，不應當以此來壓抑委屈他們。以前高允被召到方山作頌詞，身體尚可且記憶也十分好，談及過去之事，幾乎沒有什麼遺忘。太和十一年(487)正月去世，享年九十八歲。
最初，高允常對人言：「我任中書時有陰德曾救濟恩治過百姓性命，如果陽報不差的話，我的壽命在百歲上。」去世前十天左右，略有不舒適，但仍不願臥床不起，呼請醫生飲用湯藥，出入行止，仍然吟詠不止。高祖、文明太后聽說後派醫生李..去看他並把脈觀察，高允仍說沒有大病。李..入宮後悄悄向皇上、文明太后陳述說高允的榮衛兩脈已有異常之象，恐怕不久於世了。於是皇上、文明太后派使者準備好御膳珍餚相賜，自酒米到調味，有一百多種，都是當時新鮮之物。床帳、衣服、茵被、幾杖羅列在庭中，朝中之官往往來來給予慰問，高允喜形於色，對人說：「天恩因我太老，給了這麼多賜品，可以用來待客了。」上表表示感謝，沒有其他考慮。如此這樣多日，夜間去世，家人都沒察覺。去世後皇上下詔給絹一千匹，布二千匹，絹五百斤，錦五十匹，雜彩百匹，谷一千斛用做送葬之費。魏朝自初建國至此，存亡蒙賜賞的人沒有一個人有過這麼多，滿朝人都認為這是莫大之榮。將下葬，贈侍中、司空公、冀州刺史、將軍、公如故、謚曰：文。賜給命服一襲。高允所作的詩、賦、諫、頌、箴、論、表、贊、左氏、公羊釋、毛詩拾遺、論雜解、議何鄭膏肓事，共約百餘篇，另有文集刊行於世。高允還精於算法之學，著有《算術》三卷。