呂氏在般若寺生下楊堅時，「紫氣充庭」。這時，有個從河東來的尼姑對呂氏說：「這個孩子不是凡人，不能在凡間養。」於是，尼姑把他抱到廟裡一個別院躬自撫養。呂氏有一次抱起小孩，發現小孩頭上長角，身上長鱗，又驚又怕，把小孩丟在地上。
《資治通鑒》上有一段非常有趣的記載：陳朝至德元年(公元583)十一月，陳後主陳叔寶遣散騎常侍周墳、通直散騎常侍袁彥出使隋。陳叔寶聽說隋文帝楊堅狀貌異人，便讓袁彥畫像而歸。當陳叔寶看到楊堅的畫像後，大駭道：「吾不欲見此人！」立刻命人將畫扔了。
楊堅的相貌到底奇異在何處，以致他的死對頭陳叔寶看到畫像後如此驚懼呢？
根據《隋書》的記載，楊堅「為人龍頷，額上有五柱入頂，目光外射，有文在手曰王，長上短下，沉深嚴重。」由上面的描述可以看出，楊堅的相貌有五「奇」：一、額頭突出，並有五個隆起的部分從額頭直插到頭頂上;二、下頜很長，而且很突出;三、目光犀利，咄咄逼人;四、掌紋形似「王」字;五、上身長，下身短。
他這個長相，生下來不久就讓他的母親呂氏「大駭」了一回。
呂氏在馮翊(今陝西大荔)般若寺生下楊堅時，「紫氣充庭」。這時，有個從河東來的尼姑對呂氏說：「這個孩子不是凡人，不能在凡間養。」於是，尼姑把他抱到廟裡一個別院躬自撫養。呂氏有一次抱起小孩，發現小孩頭上長角，身上長鱗，又驚又怕，把小孩丟在地上。尼姑進來看到，說：「已經驚到了我的孩子，他要多花些年頭才能得到天下。」《隋書》、《北史》隋本紀上都記載說，楊堅在廟裡一直長到12歲才回家。
《隋書》中記載：齊王宇文憲對當時的北周皇帝宇文毓說：「楊堅相貌非常，臣每見之，不覺自失。恐非人下，請早除之。」皇帝說：「他不過只能做個將軍而已。」內史王軌也對皇帝說：「皇太子非社稷主，楊堅貌有反相。」帝不悅，曰：「必天命有在，將若之何！」楊堅聽說這件事後非常害怕，深自晦匿。
宇文毓雖然強為鎮靜地說「必天命有在，將若之何」之類的話，其實心裡也有點害怕，派善於看相的趙昭去為楊堅相相面。趙昭堅信楊堅「當為天下君」，他採取了一個兩面派的手法：他一面騙宇文毓說楊堅只是一個「作柱國(官職名)」的材料，另一方面又去巴結楊堅，把真相都告訴了他，並悄悄地對楊堅說：「你一定會當皇帝，而且一定要經過大屠殺才能坐得穩，千萬記住我這句話。」原文是：「公當為天下君，必大誅殺而後定，善記鄙言。」
楊堅為了自己這副相貌，付出了不少代價。在襁褓裡就差點被自己的母親摔死;長大之後，又受到同僚的嫉妒和皇帝的猜忌，時刻面臨被害的危險。這樣也就使他不得不把自己隱藏下來。當然，他是相信自己「當為天下君」。他本是一個頗為迷信的人，又從別人嘴裡聽到這樣的話，對自己的相貌也就信心十足。因為看到楊堅相貌而對他抱有信心的人，不止趙昭一人。在《隋書》中，還有數例可尋。《隋書·龐晃傳》中說，楊堅任隨州刺史時，路經襄陽，衛王令龐晃拜見楊堅，因為楊堅「相貌非常」而巴結他，向他表忠心，希望他當了皇帝之後，不要忘記自己。而楊堅聽後，只是富有深意地笑著說：「不要瞎說呀！」楊堅的心思，在這一「笑」之中昭然若揭了。
趙昭、龐晃，還有鄭譯、盧賁、竇榮定等人，日後都成為楊堅的親信和心腹，為他篡奪北周皇位和創立隋朝天下，起了很重要的作用。
只不過楊堅的異相似乎威力不足。中國歷史上有幾個大統一的短命政權，說開就開，開得光彩四射，燦爛輝煌，可是說完就完，不但快，而且徹底。隋王朝就是其中之一，楊堅辛辛苦苦，努力了一輩子，卻不過為唐王朝搭了道橋，而他本人最後也被他親兒子楊廣照肚上一刀，活活捅死，想起來沒意思得很。