明嘉靖進士龐尚鵬在其《區劃濠鏡保安海隅疏》中曾描述，16世紀中葉葡人初入澳門時，明守澳官司權令搭蓬棲息，殆舶出洋即撤去。後葡人在澳大量建屋，很快達到數百所，進而至千所以上。為控制葡人勢力日熾，萬曆間廣東海道副使俞安性與澳葡約法五章，其中第五款規定禁止澳門葡人稟自興建屋宇。葡人已有房屋朽爛時，可照舊樣翻修，但不許添造一石一木。（註：見印光任、張汝霖：《澳門記略》，趙春晨校注，澳門文化司署，1992年，第66—67頁。）此項規定一直延續至鴉片戰爭以後。
儘管如此，澳門葡人仍然擁有大量不動產。許多葡人出租房屋謀利。《澳門記略》提到，葡人房產「賃於唐人者，皆臨街列肆」。（註：同上書，第147頁。）這種臨街房屋可用作店舖，故在當時被稱為「鋪」或「鋪房」。東坡塔檔案中有不少華葡雙方有關租賃房屋糾紛的文件，可見至18世紀末19世紀初，出租房屋仍是在澳葡人謀生的一種重要方式。謝清高本人租居「桔仔圍」的房屋即屬於葡人安哆呢·囉吵。上述檔案四稱其二十年納夷租銀無異，檔案五說謝清高連續付租時間為二十餘年，可見他在此居住了相當長的時間。
據此，我們可以對謝清高開始租居桔仔圍鋪屋的時間作一推測：上述第一份檔案中提到，嘉慶十一年（1806）軍民府向謝清高追索謝所欠葡方房東兩年房租。檔案五明確指出，謝清高所欠兩年房租的時間為嘉慶九年（1804）和十年（1805）。據此謝清高自述的每年納租，二十餘載無異一句應釋為，從嘉慶八年（1803）起上溯的二十年中，雙方從未有過租賃糾紛。可見謝清高起租桔仔圍的時間當為乾隆四十九年（1784）以前。
前已經提及，謝清高生於乾隆乙酉年（1765）。十八歲（1782，此處以虛歲計）時附番舶出海。楊炳南《序》中提到，謝清高每年出海。換而言之，可理解為他每年歸回澳門。謝清高至少從乾隆四十九年以前就在桔仔圍租居葡人房屋這一事實，證明了這一點。他並非十餘年中一直在海外漂泊，而是自初次，或最初二、三次出海歸來後，便開始在澳門租居葡人房屋。在他漂洋過海的十餘年間，一直支付著租銀，每當出海歸來，便居住於桔仔圍。