《資治通鑒》上有一段非常有趣的記載：陳朝至德元年(公元583)十一月，陳後主陳叔寶遣散騎常侍周墳、通直散騎常侍袁彥出使隋。陳叔寶聽說隋文帝楊堅狀貌異人，便讓袁彥畫像而歸。當陳叔寶看到楊堅的畫像後，大駭道：「吾不欲見此人！」立刻命人將畫扔了。
楊堅的相貌到底奇異在何處，以致他的死對頭陳叔寶看到畫像後如此驚懼呢？
根據《隋書》的記載，楊堅「為人龍頷，額上有五柱入頂，目光外射，有文在手曰王，長上短下，沉深嚴重。」由上面的描述可以看出，楊堅的相貌有五「奇」：一、額頭突出，並有五個隆起的部分從額頭直插到頭頂上;二、下頜很長，而且很突出;三、目光犀利，咄咄逼人;四、掌紋形似「王」字;五、上身長，下身短。
他這個長相，生下來不久就讓他的母親呂氏「大駭」了一回。
呂氏在馮翊(今陝西大荔)般若寺生下楊堅時，「紫氣充庭」。這時，有個從河東來的尼姑對呂氏說：「這個孩子不是凡人，不能在凡間養。」於是，尼姑把他抱到廟裡一個別院躬自撫養。呂氏有一次抱起小孩，發現小孩頭上長角，身上長鱗，又驚又怕，把小孩丟在地上。尼姑進來看到，說：「已經驚到了我的孩子，他要多花些年頭才能得到天下。」《隋書》、《北史》隋本紀上都記載說，楊堅在廟裡一直長到12歲才回家。
用現代人的眼光看來，長這樣的人一定是「奇醜」型的人，連他自己也會自慚形穢了。但是，在相術發達的古代，這種相貌卻是「其貴無比」。別的不說，光是他突出的額頭和額頭上那五根「入頂」 的肉「柱」，就是「龍顏」的象徵。楊堅的額頭，用相書上的術語叫做「龍犀」，是帝王的象徵。唐朝李善說：「額有龍犀入發，左角日，右角月，王天下也。」也就是說，這種囟下骨頭隱起，下連鼻樑不斷的「龍犀」，以及由於額頭上隆起，在左右鬢角形成的肉「角」，都是「王天下」的貴相。相書上對這種長相還另有一個說法，叫做「龍顏戴干」，龍顏自然是指帝王的相貌，戴干就是指頭部有肉突起如干戈對立。據說帝顓頊就是這副長相。
當時，很多人認為楊堅有帝王之相。在陳後主陳叔寶之前，就有人為楊堅的相貌而擔憂、畏懼和嫉妒，這個人就是北周太祖宇文泰，他曾歎曰：「此兒風骨，不似代間(瀚海沙漠群)人。」
《隋書》中記載：齊王宇文憲對當時的北周皇帝宇文毓說：「楊堅相貌非常，臣每見之，不覺自失。恐非人下，請早除之。」皇帝說：「他不過只能做個將軍而已。」內史王軌也對皇帝說：「皇太子非社稷主，楊堅貌有反相。」帝不悅，曰：「必天命有在，將若之何！」楊堅聽說這件事後非常害怕，深自晦匿。
宇文毓雖然強為鎮靜地說「必天命有在，將若之何」之類的話，其實心裡也有點害怕，派善於看相的趙昭去為楊堅相相面。趙昭堅信楊堅「當為天下君」，他採取了一個兩面派的手法：他一面騙宇文毓說楊堅只是一個「作柱國(官職名)」的材料，另一方面又去巴結楊堅，把真相都告訴了他，並悄悄地對楊堅說：「你一定會當皇帝，而且一定要經過大屠殺才能坐得穩，千萬記住我這句話。」原文是：「公當為天下君，必大誅殺而後定，善記鄙言。」
楊堅為了自己這副相貌，付出了不少代價。在襁褓裡就差點被自己的母親摔死;長大之後，又受到同僚的嫉妒和皇帝的猜忌，時刻面臨被害的危險。這樣也就使他不得不把自己隱藏下來。當然，他是相信自己「當為天下君」。他本是一個頗為迷信的人，又從別人嘴裡聽到這樣的話，對自己的相貌也就信心十足。
因為看到楊堅相貌而對他抱有信心的人，不止趙昭一人。在《隋書》中，還有數例可尋。《隋書？龐晃傳》中說，楊堅任隨州刺史時，路經襄陽，衛王令龐晃拜見楊堅，因為楊堅「相貌非常」而巴結他，向他表忠心，希望他當了皇帝之後，不要忘記自己。而楊堅聽後，只是富有深意地笑著說：「不要瞎說呀！」楊堅的心思，在這一「笑」之中昭然若揭了。
趙昭、龐晃，還有鄭譯、盧賁、竇榮定等人，日後都成為楊堅的親信和心腹，為他篡奪北周皇位和創立隋朝天下，起了很重要的作用。
只不過楊堅的異相似乎威力不足。中國歷史上有幾個大統一的短命政權，說開就開，開得光彩四射，燦爛輝煌，可是說完就完，不但快，而且徹底。隋王朝就是其中之一，楊堅辛辛苦苦，努力了一輩子，卻不過為唐王朝搭了道橋，而他本人最後也被他親兒子楊廣照肚上一刀，活活捅死，想起來沒意思得很。