高崇的兒子高謙之，字道讓。少小時侍奉後母李氏，孝名遠揚，李氏撫養他所耗費的心血也過於自己親生孩子，以致旁人難以辨別他們兄弟所出的同異差別。時人把他們一樣看重。等到長大，摒絕人事，專攻經史，天文曆法、算學圖緯之類書籍，廣泛涉獵，每天誦讀幾千字，喜好文章，留心《老》、《易》。繼承父親爵位，脫下布衣，接受朝廷任職，朝廷加授他為宣威將軍，轉任奉車都尉、廷尉丞。
正光年間(520～525)，尚書左丞元孚慰勞蠕蠕，反被拘留。等到蠕蠕大肆掠搶而還，安排元孚回國。此事交廷尉處置，廷尉卿及監以下官員都稱元孚無罪，只有高謙之認為元孚有辱使命，應處以流放之罪。尚書同卿與之爭執不下，皇帝下詔同意高謙之所奏。
孝昌初年(525)，代河陰縣令。這以前，有人在袋子裡裝上瓦礫，稱是錢物，詐騙別人馬匹，得手後逃走。皇帝下詔追捕，並要求把結果上報。高謙之於是用枷鎖綁著一名假囚徒置於馬市，聲稱這人就是以前在馬市上詐取馬匹的賊，今天就要行刑了。暗地裡派心腹窺探集市看客中議論的人。有兩人看到這種情景高興地說：「我們不用擔驚受怕了。」這兩人立即被抓了起來，進行審問，他們都承認了騙取馬匹的罪行，他們的同夥也被挖了出來。這次連帶查出他們前後盜竊的案子，搜出很多贓物，很久以前失去自家物件的人，都各自來領取被盜物品。這一切，高謙之寫成奏本，上表皇帝去了。不久，皇帝下詔升任他為寧遠將軍，正式任河陰縣令。在河陰兩年，增益減損，政體昭然，所辦的事情，多成為治事典範。他的弟弟高道穆任御史，在公事上也頗有幹才，世人以他們父子兄弟為官都著名而在當時傳為美談。
舊制，兩個縣的縣令可以在朝面陳得失，而當時奸佞僥倖的人憎恨他掌握了某些情況，於是一起上書請求罷免他的官職。高謙之於是上疏說：「臣以平庸之才，忝居神邑縣令之位，臣心中確實想執法嚴明，秉公辦事，以答謝朝廷浩蕩之恩，竭盡人臣忠直之節。然而豪貴之家，支屬廣佈，六親七戚，夠上判罪者，比比皆是，他們對我都起憎恨之色，對皇上皆起怨怒之心。而縣令職位輕弱，哪能盡數糾正。先帝過去發佈明詔，讓縣令們可以在聖上那裡面陳掌握的情況。臣先父高崇任洛陽令時，經常能夠進入朝廷面陳是非，所以能使朝中顯貴斂手旁立，不敢違逆政體所禁。最近以來，這項制度漸漸廢止，致使縣令威輕，下情不能上達。今日二聖遠遵堯舜，傚法高祖。愚臣希望效其魯鈍蹇慢之才，早立功名。臣請求更新舊典彰明往制。以期奸詐豪縱之徒知禁難犯，收斂賊心。」詔書稱：「這個奏啟與朕意深相符合，立即交付執行。」
高謙之又上疏說：
「臣聽說夏朝德運衰敗，少康成為克復之主；周道將要廢棄，宣王立下中興之功。由此可知，國家沒有恆常的安寧，世事也無永久的弊端，只是在於英明的君主以行之有效的辦法改變現狀，化弊有道有術而已。
「自從正光年間以來，邊城屢遭侵擾，將帥出師，相繼於路，軍費戎資，輸送不絕。至於弓格賞募，都有出身；殺敵斬首，又蒙恩賜。所以四方之士，願意應徵的人數很多，各自為己，公私兩利。如果軍中統帥選准其人，犒賞功勳不失其實，那麼什麼樣的賊不能平，什麼征戰不能大捷而還！諸守帥也許不是那類人才，多派親近進入軍中，另請他人拉弓引駑，虛受征官。自己身不赴陣，只派奴客之類入軍中領戰，對寇臨敵，手不彎弓，兵不血刃。像這樣則會導致王爵之賞虛加其人，征夫也無參軍的積極性，那賊虜怎能被剿滅，拿什麼來勸誡人們的忠誠貞節？況且近臣、侍臣、親戚、朝士，紛紛托求官衙，擅作威福。如果清廉貞節執法不二的人，也會一同遭到誣陷，無端受到懲罰。朝臣顧望，誰肯訴說實際情況？這樣下去，就會導致聖上被蒙蔽，壞人被縱容，虧損皇風，破壞政體。使諂諛小人意氣洋洋，忠讜之言，不復鼓耳。
「況且連年以來，國家多有征戰，民不堪命，動不動流離失所，保全妻子兒女，競爭地逃王家兵役，不再顧及其桑蠶糧田，害怕國家刑律。這正是由於還家必有困頓之理，歸來沒有自安之路所致。假如朝廷聽任百姓歸其本業，微征徭役，那麼歸家還田者人數必定很多，他們定會墾田闢土，數年之後，朝廷一定會大獲稅民。而今官府不做以理召還流民的工作，只管嚴令強迫，這樣下去，臣擔心數年之後，逃離家園者更多，安居樂業者無人了。
「所以有國有家者，不操心百姓不歸順自己，只擔心政策得不到落實執行，不僥倖敵人不侵犯我，只依賴自己不可侮犯的信心。這個道理乃是千年共遵，百王一致的普遍真理。而且琴瑟之聲不協調，知音的人便改弦更張；拉車的馬匹腳步不一，善於駕駛的便要調整韁索。諺語說：『迷途知返，得道不遠。』這話雖不起眼，但道理極深。陛下日理萬機，事情難以全面掌握，元、凱無言，不肯直陳。臣謙之雖平庸無才，但世代蒙受聖上榮祿，竊自嚮往前賢盡忠不惜身的義舉，不怕身遭刀斧之刑，只要有一句有益於皇上，義不辭死。只求聖上略垂覽察，微加推尋採納，使朝章重新振舉，軍威更而復振，四海之內響起維新之歌，天下之人見到大禹之績，那麼臣上奏之後，便可含笑九泉而無絲毫遺憾了。」
靈太后得到高謙之的疏章，責問左右近臣，追問怎麼回事。這些得寵顯要的人由此記恨高謙之，於是有人向太后建議：「高謙之有學識藝才，適宜在國學任職，以訓導王公貴戚的後代。」下詔任命，除授國子博士。
高謙之到了國子學，與袁翻、常景、酈道元、溫子升等人，重溫舊情。高謙之喜歡贍養孤老、撫恤貧弱，答應的從不失言。對待家中僕僮奴隸，當著他們子女的面從不鞭打其父母，奴僕中若有人生有三個兒子，他便免除其中一子做奴僕的義務，他家中從來沒有受過刑的奴婢。他常說，奴僕也是人的血肉之軀，怎能忍心殘害。高謙之因父舅氏沮渠蒙遜曾經據占涼州，國史缺漏，他於是編《涼書》十卷，流行於世。涼國佛道興盛，謙之作論貶抑，稱佛教是九流之中的一家。惹得當世名士，競相以佛理前來詰難，謙之也以佛教義理對答，名士們終不能使謙之心悅誠服。高謙之又因當時實行的曆法，許多地方不完備，於是便改元修訂，成為一家之法，雖然他訂的曆法沒有被採用，評論的人卻歎服其多才多藝。
在這個時候，朝廷議論鑄造錢幣的事情，任命高謙之為鑄錢都將長史。他上書請求鑄造三銖錢說：
「大凡錢貨之立，本意是互通有無，便利交易。所以錢的重量，世代不同。姜太公為周朝置九府圓法，到景王時更而鑄造大號錢幣。秦朝統一海內，錢重半兩。漢興，因秦朝錢重，改造榆莢錢。到了漢文帝五年(前175)，又變為四銖錢。孝武帝時，全部銷毀，改造三銖錢，到了元狩年間，又變為五銖錢。又造赤仄錢，以一當五個五銖錢。王莽攝政，錢有六等，大錢重十二銖，次九銖，次七銖，次五銖，次三銖，次一銖。魏文帝罷除五銖錢。到了明帝又恢復了。孫權立國江左，鑄造大錢，一當五百。孫權在位的赤烏年間，又造大錢，以一當千。由此可見，錢幣規制大小輕重，無不隨時變化。
「臣認為財政經濟的重要，在食、貨、祀、司空、司徒、司寇、賓、師八政之中列在首位；聚集財物的可貴，典籍之中，論述俯拾皆是。所以古來帝王，乘著天地的豐饒，臨著海內的富足，無不廣集糧食於太倉，富藏錢幣於府庫，儲備既多，民免困窮，朝廷便可以讓天下四方安寧下來，就如驅使身體伸出胳膊那樣容易。過去漢代的孝武皇帝，雖然地廣財豐，但連年征戰戎敵，於是國庫空虛。這時，民間富紳，獻財助國；興利之計，納稅朝廷。市場之上，設立收稅之官；邑里鄉間，置有催賦之令。鹽鐵經營既然方興未艾，朝廷便屢改錢幣，少府於是充實起來，上林也變得十分富足。盡避國家拓疆闢土，但國內卻不加賦稅，這都是計利的緣故啊。而今群妖未息，四方多存壁壘，徵稅既已麻煩，而千金卻一日盡完，官倉府庫儲備漸漸耗盡，財貨度用也將枯竭，誠是當初楊代獻策之秋，桑、兒言利之日。而且以當初西京的興盛，錢幣猶且屢次改動，大小貨幣並行於世，子母之錢相權不悖，更何況今日寇難未除，州郡淪敗，民物凋零，軍隊國家缺少日用，另外鑄造小錢，可以有益於國家富足，那裡會損害政體，妨害百姓呢？而且政事興旺不因為錢大，政體衰落也不因為錢小，而只重在公私得失與否，政治教化虧損與否，改鑄錢幣之事既已有古人所做在先，今天我們也當傚法啊。過去禹遭大水，用歷山之金鑄錢，拯救民困。湯遭大旱，拿莊山之金鑄錢，贖回百姓賣掉的子女。今天百姓窮困憔悴，過於往日，英明之主哪能夠袖手旁觀呢？
「臣今日所鑄之錢，是用來接濟流通的貧乏，五銖之錢，任其使用並行，流通無損，只會國家受益，穆公之言在這一點上應驗了。微臣我雖然理錢之術不如計然，識非心算，暫且充當錢官，也對其道理有些理解。只要此舉利於國家，我便不能沉默。如有疑慮，請求公卿大臣廣為議論。如果大家都認為公平允當，即請求施行。」
皇帝下詔準備按他的意見辦，事情未成，他便死了。
當初，高謙之弟弟高道穆，正光年間任御史，糾察相州刺史李世哲的案子，大加凌辱，世哲家人深深記恨。到這時，李世哲弟李神軌被靈太后深為寵愛，恰逢謙之家僮控告主人，神軌操縱了這名家僮，並與尚書說了此事，於是判定禁囚高謙之於廷尉。準備釋放他時，李神軌啟奏靈太后，請求發佈詔書，在獄中賜死，死時，高謙之才四十二歲。朝中人士無不歎惜哀痛。高謙之所著文章百餘篇，別有集錄。永安年間，朝廷贈他征虜將軍、營州刺史，謚曰康，又授一個兒子出身為官，以此昭明謙之冤屈。高謙之的妻子中山張氏，是有見識的婦女。教育子女，從師學授業。經常告誡他們說：「自從我成為你們家主婦，從未看見你父親一天不讀書。你們應該各自發奮努力，不要廢棄祖宗之業。」
高謙之長子子儒，字孝禮。元顥入洛陽，他的叔叔高道穆跟隨皇駕北巡，高子儒隨後渡河到了皇帝行宮，莊帝見到他，仔細詢問洛陽的情況，子儒詳細陳述元顥敗在旦夕。皇帝對道穆說：「卿初來時，為什麼不與子儒一起？」道穆說：「臣家百口在洛陽，必須他維持經營。而且要他今天來此，也可通報京師後來發生的事情。」皇帝說：「子儒不但不負愛卿你的期待，也大慰朕意。」於是授予他秘書郎中，轉授通直郎。後來又升任安東將軍、光祿大夫、司徒中兵參軍、兼任祭酒，襲任父爵。興和初年，除授兼殿中侍御史。當時四方多有流民，子儒為梁州、北豫、西兗三州檢戶使，所獲流民很多。後來因為公事離職。武定六年(548)死，當時四十一歲。
子儒弟弟高緒，字叔宗，聰明捷悟，勤奮好學。高謙之常對人說：「興我門庭的，當是此兒。」等到他長大，涉獵書傳，喜好文詠。任司空行參軍、轉任長流參軍，升任鎮遠將軍、冀州儀同府中兵參軍，被府主封隆之所賞識。隆之到梁州、濟州，讓他跟隨左右，總是讓其管理數郡。武定三年(545)死，年僅三十二歲。
高緒弟孝貞，武定年間，任司徒司曹參軍。孝貞弟孝干，任司空東..祭酒。