有魏武侯玄孫曹叔良及居民，競來瞻禮。時寶林古寺，自隋末兵火已廢。遂於故基，重建梵宇，延師居之。俄成寶坊。師住九月餘日，又為惡黨尋逐。師乃遁於前山。被其縱火焚草木。師隱身挨入石中得免。石今有師趺坐膝痕及衣布之紋，因名「避難石」。師憶五祖懷會止藏之囑，遂行隱於二邑焉。
無盡藏尼姑告訴大家慧能是有道之人後，許多人前來贍禮拜訪和請教，人數一多，家裡就擠不下了，正好附近有一座隋朝末年被戰爭毀廢的破廟，這樣，以曹叔良為首的地方鄉紳出錢修建，很快就煥然一新，請慧能住持。慧能住了九個多月，又被惡黨強盜尋找追逐。慧能無奈隱藏於前山，又被惡黨縱火焚燒草木，不得已藏身於亂石之中才躲過了災難。那塊石頭一直存在，至今還留下了慧能盤腿打坐的痕跡，這石頭也被後人稱之為避難石。慧能這時想起了師父弘忍大師送別時說過的話「懷會止藏」，於是慧能便隱藏在懷集縣和四會縣之間。
有人看到這兒就問：「慧能大師已經開悟成佛，至少是菩薩，已經有了大神通，為什麼還東躲西藏？」《壇經》中確實描寫很多處神通，但我們既沒有必要否認它，更不應該相信它。因為它不是《壇經》的主題。這個故事告訴我們，慧能開悟成佛後仍然是一個正常的人，而不是神。它與普通人不同的是，在遇到困難、遇到無妄之災時的態度，沒有報怨、沒有恐懼，更沒有針鋒相對的報復，而是看清事情的本質，以平等心去對待。