1968年，當時48歲的呂樂急流勇退，卸下人人稱羨的港島及九龍區總華探長職務，靠著名下不動產收房租，過著舒適的退休生活。

1974年香港廉政公署成立，呂樂成為頭號查緝目標，當時呂樂便帶著八名子女及妻子蔡珍一家人，急忙移居加拿大定居，1979年買下台北市東區敦化南路公寓豪宅，自此定居台灣，因為台灣和香港之間沒有引渡條例，因此香港廉署只能望洋興嘆，不能執行通緝令將其拘捕歸案，但通緝令至今仍然有效。

如今85歲的呂樂目前在台灣的親人只剩妻子及小女兒，小女兒據稱在某政府機關擔任公務員，其餘七位兒子都留在加拿大。

呂樂平常沒有什麼嗜好，以前還會偶爾與愛妻外出散步，但是近年來因為腳好像有問題，所以比較少出門，以前每天都還要去仁愛醫院復健，現在是一個星期三次前往仁愛醫院做物理治療。

他在台灣最大的娛樂就是平時偶爾和幾位過去同樣落難台灣的前部屬及探長飲飲茶，其中包括港星曾志偉的父親，擔任過軍裝警署警長的曾啟榮，而曾啟榮同樣的也還遭廉政公署通緝當中

過去20幾年來，呂樂只要是同鄉會的定期聚餐、香港好友來臺聚會，幾乎都會偕同夫人出席，餐會結束，出手大方的呂樂總是成了東道主，讓大夥感覺出他有股重情重義的江湖味道。

https://mattel.pixnet.net/blog/post/17185649-五億探長雷洛（真人故事版）

維基
1974年廉政公署成立後，因呂樂資產高達五億港元，財富官職不相稱，隨即成為追緝的最大目標。1977年香港法院正式向已經移居台灣的呂樂追討部分財產，合計港幣九百九十三萬八千二百二元。

1979年，呂樂於臺灣臺北市東區敦化南路購買了一所公寓豪宅，自此於臺北長居30多年，生活低調樸實且親切有禮，鄰居多半不知道他的過去與來歷，在先前，他居住過北投區關渡聖景路上之別墅。

他的八名子女中，女兒取得中華民國國籍，擔任臺灣公務員。七名兒子都在加拿大發展，呂樂期間亦有往返加拿大。

2010年5月13日，患胃癌末期的呂樂於加拿大病逝，終年89歲。即使廉政公署早在1974年已成立並通緝呂樂，但始終無法將他引渡回港。後葬於加拿大溫哥華。

反送中超棒der