對于不太順利的星途，李家聲說已經習慣，他會告訴自己，自己是演員不是明星。如果不去調整心態會很辛苦，很難繼續做下去，凡事淡然一點，才能抵抗起起落落。

2018年，他意外受傷，以致斷腳筋及大動脈破裂，無奈之下，他只能辭演劇集《大帥哥》。休養期間，他選擇跟妻子出國旅游，沒想到此行令他對生活有了不一樣的看法。

當時，夫妻倆前往馬來西亞度假，兩人都很喜歡當地純樸的民風，仿佛回到小時候一般。

考慮再三后，李家聲決定不再跟TVB續約，并攜妻子移居馬來西亞養老。

他砸下了150萬，在當地買了一套過千尺的海景房。平日里，他寄情玩樂，經常分享吃喝玩樂的照片，生活過得非常愜意。

李家聲之前受訪時表示，這里上街吃飯很便宜，一碟炒河粉才10元，夫妻倆從前一個月開支達到4萬元，移居后一個月支出不到1萬元。

比較可惜的是，他收藏的數十萬紅酒不方便帶過來，他只能在臨走前一個月喝光。朋友問他為什麼那麼舍得，他說喝進自己肚子怎會不舍得。

不愛張揚的李家聲，移居后極為低調，他不再拍戲，也很少更新社交賬號的動態。如今，能看到他再次現身，實在難得。