康絢字長明，華山藍田人。他的祖先出自康居。最初，漢朝設立都護，都稱臣於西域，康居也派侍子到河西聽命，被留作國民，那以後便以康為姓。晉朝時隴右發生叛亂，康氏遷往藍田。康絢的曾祖父康因是苻堅太子詹事，生下兒子康穆，康穆是姚萇河南尹。宋永初中(421)，康穆率鄉里同族三千多家進入襄陽的峴南，宋朝設置華山郡藍田縣，寄居在襄陽，任命康穆為秦、梁二州刺史，康穆尚未受職，死去。康絢的伯父元隆，父親元撫，兩人都為流人推舉，先後任華山太守。
康絢幼年時灑脫有志向，齊文帝任雍州刺史時，所徵召的官吏都取名門出身，只有康絢憑借才力被徵召為西曹書佐。齊永明三年(485)，授職為奉朝請。文帝即位，因為以往的恩情薦舉康絢為直後，因為母親去世而卸去官職。三年服喪期滿，授職振威將軍、華山太守。推舉全心全意的、安撫遵禮守法的，歉收的、飽足的都心悅誠服。遷任前軍將軍，又任華山太守。
齊永元元年(499)，義師舉事，康絢發動全郡響應高祖，親率三千勇兵，私馬二百五十匹跟隨高祖。授職西中郎南康王中兵參軍，加封輔國將軍。義師將張沖包圍在郢城，歷時很久，東昏將領吳子陽在加湖建立營壘，士氣很旺盛，康絢隨王茂大力攻打。從這之後康絢常率遊兵，有緊急情況趕緊趕至該地，被斬殺的敵人、繳獲的軍器很多。天監元年(502)，康絢被封為南安縣男，食邑三百戶。授職輔國將軍、竟陵太守。魏軍圍攻梁州，刺史王珍國派人請求援救，康絢領郡兵赴救，魏軍退去。天監七年(508)，司州、三關被魏軍逼迫，詔令借給康絢符節，任武旅將軍，率軍援救。天監九年(510)，遷封假節稱號，督北兗州緣淮諸軍事、振遠將軍、北兗州刺史。到朐山的亡命之徒以城投降魏軍時，康絢迅速派遣司馬霍奉伯分兵佔據險要之地，魏軍前來，不能過朐城。第二年，青州刺史張稷被士人徐道角殺害，康絢又派司馬茅榮伯討平徐道角。高祖徵召康絢為驃騎臨川王司馬，加封左驍騎將軍，不久轉任朱衣直..。天監十三年(514)，陞遷太子右衛率，甲仗百人，與領軍蕭景擔任宮廷警衛。
康絢身長八尺，容貌超群，雖身居要職，仍習武藝。高祖在德陽殿戲馬，令康絢射馬，按住箭上的繩子彎弓對準目標，看的人十分高興。那天，高祖派畫工畫了康絢的像，派中使拿去問康絢：「你識得這圖上畫的是誰嗎？」康絢如此被皇上親近。
當時魏朝投降過來的王足述說計謀，請求在淮水築堰以灌溉壽陽。王足引用北方童謠說：「荊山為上格，浮山為下格，潼沱為激溝，並灌巨野澤。」高祖認為說的有道理，派水工陳承伯、材官將軍祖日恆觀察地形，他們倆人都以為淮水內沙土浮輕，不堅實，堰不容易築成。高祖不聽，征發徐州、揚州人，每二十戶取五人來築堰。詔假康絢符節、都督淮上諸軍事，並主持堰的興修，服勞役的人及士兵共有二十萬。在鍾離境內南起浮山，北抵..石，沿著岸邊築土，在淮水中流合脊。天監十四年(515)，堰即將合龍，淮水流得很快，於是再一次決口，眾人十分憂慮。有人認為長江、淮水多有蛟龍，能夠呼風喚雨使堤岸決口，它的性情是厭惡鐵，因此收集東西兩方的冶鐵器，大則飲器烹器，小至鏵、鋤，數千萬斤，丟在堰內。堰還不能合龍，於是砍伐樹木作欄圈，用巨石填塞，在上面再加上土。淮水沿岸百里之內，山上的樹木石頭，不論大小都搜盡了，挑的人肩上都磨穿了。夏天疾病流行，死的人互相枕藉，蠅蟲叮咬聲晝夜不斷。高祖擔心服勞役的人淹留得太久，派尚書右僕射袁昂、侍中謝舉假給康絢符節慰問他，並且加封他有減免徭役之權。這年冬天又特別寒冷，淮水、泗水都凍住了，士兵死的人十有七八，高祖再次派人賜給他們衣褲。十一月，魏派大將楊大眼揚言決開堰堤，康絢讓各軍撤去營寨，露營等待楊大眼軍前來。康絢派他的兒子康悅挑戰，斬去魏朝咸陽王府司馬徐方興，魏軍稍退。十二月，魏派尚書僕射李曇定率眾軍前來作戰，康絢與徐州刺史劉希祖等人抵抗。高祖又派右衛將軍昌義之、太僕卿魚弘文、直..曹世宗、徐元和相繼拒守。天監十五年(516)四月，堰修成。堰長九里，下寬一百四十丈，上寬四十五丈，高二十丈，深十九丈五尺。兩旁以堤岸相夾，並種植杞柳，軍人安穩地堵塞決口，居住在上面。堰水清潔，從上往下看就像人的墳墓，一目瞭然。有人對康絢說；「江、淮、河、濟四條大川，上天用來節宣其氣，不可長時間堵塞。如果鑿一低窪東流，則水流寬慢，堰才能不壞。」康絢認為講的有道理，開低窪讓水東流。又派人離間魏國說：「梁人所害怕的就是開低窪，不畏懼在野地裡作戰。」魏人相信了這話，果真鑿山深五丈，開低窪引水北流，淮水日夜分流，低窪仍舊不減。這月，魏軍終於潰退而歸。淮水所流到的地方，夾淮方圓數百里地。魏壽陽城戍稍作遷移駐紮在八公山，這時南邊人散住到山脊上。
起初，堰在徐州界內興修，徐州刺史張豹子說堰在徐州境內，說自己必居其位而無所事。不久康絢派別的官吏來監督修堰，張豹子很羞愧。不久高祖下令張豹子接受康絢的調遣，每件事都先徵詢他的意見，由此便進讒言說康絢與魏國人互有往來，高祖雖然不聽這些話，仍以堰修好後徵召康絢回京。不久封康絢為使持節、都督司州諸軍事、信武將軍、司州刺史，兼任安陸太守，增加封地二百戶。康絢回京後，張豹子不修堰，到那年秋天八月，淮水暴漲，堰都決口，奔流到海，祖日恆因罪而下監獄。康絢在州郡三年，大修城池，號稱嚴政。
天監十八年(519)，徵召康絢為員外散騎常侍，兼任長水校尉，與護軍韋睿、太子右衛率周捨擔任宮廷警衛。普通元年(520)，授職衛尉卿，未到任，去世，終年五十七歲。高祖當天到他家弔喪。詔贈康絢為右衛將軍，給鼓吹一部，辦喪事的錢十萬，布百匹。謚號壯。
康絢性情寬和膽怯，在朝廷，看到人好似不會說話，號稱位高敦厚。在州郡，每當寒冬臘月看見州官衣衫襤褸，便贈給他們短襖，他是如此樂善好施。康絢的兒子康悅繼承爵位。