余協中的三子余英華，在一九四九年之後隨父親遷居香港，一九五○年余英時也來到香港，入讀新亞書院，而余英華則進入華仁書院就讀，余協中的二兒子余振時一九四九年之後二子隨養母張韻華留在中國大陸。一九五五年余英時前往哈佛大學擔任訪問學者，次年正式讀博士，這一年余協中攜全家赴美，定居波士頓。
余英時一九四九年之後到香港，也經歷過一番思想鬥爭，余英時後來在為巫寧坤的書所撰寫的序言中回憶，他是一九四九年八月底住進燕京學生宿舍的，十二月底離開，比《一滴淚》的作者巫寧坤早了兩年。一九四九年年底，余英時意外地收到母親從香港的來信，原來他們又從台北移居到香港。五○年年初，余英時到香港探望父母，終於留了下來，從此成為一個海外的流亡者。余英時後來如此描述跨越羅湖橋的感受：「突然我頭上鬆了，好像一個重大的壓力沒有了。不知道為甚麼，但我相信在某些方面有一個壓力，思想上的壓力，那壓力就在過橋的一刻，頭一鬆就消失了。這是我真實的感覺，如果講自由不自由的感覺，那是真實的。」
余英時原來認為來港只是短期探親，還決定回去，在回程的火車上余英時內心掙扎，後來他再接受香港電視台採訪時回憶：「三、四個鐘頭裏我都在回想，我在想的不是政治問題，想我的父親年紀大了，一個人在香港，我弟弟還很小，七、八歲。我離開，他嘴裏不說，但心裏很難過。好像是不顧他們。所以我想，中國那麼大，多少億人，少我一人，一點關係也沒有，但對我的父母來說，我就比較重要。用共產黨的話，是自己作思想鬥爭，小資產階級的溫情主義，跟愛國主義之間的鬥爭。結果小資產階級的溫情主義戰勝，我就決定還是回香港。」
余英時覺得自己對香港一直有情感，五十年代他當學生時跑遍大街小巷，雖然開始不習慣，很想回去，待久了才發覺真的自由，無拘無束，余英時認為要不是在香港成長，他也沒有今天這種自由想法，余英時說：「如果在共產黨或國民黨教育下長大，一定會受限制，有些東西不能想，根本不敢去想。」余英時同時認為：「現在香港的言論、說話的人，慢慢自我控制，香港有這個危險性，開始一個自我洗腦的過程。」
也正是因為香港這種自由的氣氛，余英時才得以在思想、學術的世界中暢游，以至於後來卓有成就，和余英時一樣，余英華也非常優秀，余英華一九六八年獲得密歇根大學哲學博士後即在密歇根執教，一九九七年起任紐約州立大學布羅克堡分校校長，二○○四年起擔任美國加州聖荷西州立大學校長。余英時一九六一年從哈佛畢業時，也曾經在密歇根大學執教。余協中晚年最值得欣慰的事情便是二子均有所成就，當時余協中的妻子尤亞賢在哈佛大學任職，後來在密歇根大學解剖系擔任研究員，曾經與伯克（Baker）教授合作撰寫多篇有關癌症的論文。
余協中僑居波士頓劍橋時，還曾經和胡適有過交往，一九五八年一月十六日胡適在日記中寫道：「潜山余協中來訪，他是用Refugee Act（難民法案）來美國居留的，現居Cambridge（劍橋），他說起兒子余英時，說Harvard（哈佛）的朋友都說他了不得的聰明，說他的前途無可限量。」胡適當時還對余協中說：「我常常為我的青年朋友講那個烏龜和兔子賽跑的寓言，我常說：凡在歷史上有學術上大貢獻的人，都是有兔子的天才，加上烏龜的功力。如朱子，如顧亭林，如戴東原，如錢大昕，皆是這樣的，單靠天才，是不夠的。」
但是胡適當時沒有想到，後來他的年譜長編乃至日記的出版，都是余英時寫的序言，胡適更沒有想到的是，余英時成為了繼他之後二十世紀下半葉中國最有影響力的知識人。
余協中自述來美時年事已高，所以索性不再工作，安心讀書，專心學問，余協中認為美國是難民的天堂，美國社會基礎穩固，能夠充份保障個人的自由，讓每個人安居樂業，而且美國以前雖然有種族歧視，但是現在越來越少，現在黃種人和白種人沒有差別，余協中說自己剛來美國時一無所有，但是現在生活得很舒適，來美國的中國人也越來越多，美國沒有特務跟蹤或者秘密警察的盤問，但是「唯共產嫌疑者除外」。
當然余協中晚年也有很多的遺憾，最大的遺憾便是不能回國，他在一九七八年曾經致信給在國內的姪子余天寶，詢問當時的國內情况，當時余英時即將率團訪問中國，余協中也申請回國，他在信中提到國內很多長輩均已過世，非常悲傷，同時余協中詢問天寶那些長輩的墳墓安葬在何處，同時詢問天寶從安慶到官莊是否需要乘坐公共汽車，需要多少時間等詳細問題，同時還問起官莊和其同輩的一些朋友是否還在世。但是這封信因為其中問及家鄉是否能吃飽的問題，被當時的生產隊劉書記扣下，沒有及時送到余天寶手裏。
余英時一九七八年訪問大陸，見到了一九四九年之後再也沒有晤面的弟弟余振時和養母張韻華，當時兩人住在東城區北兵馬司胡同二十三號，這處房產是在余協中四十年代以其夫人尤雅賢的名義購買的，余英時離開大陸之後不久充公，政府另外安排了許多居民遷入，張韻華和余振時只住其中一間，但是政府至今也沒有歸還余家這套住宅。據說余英時當時在北京把養母接到北京飯店話舊時，還曾經遭遇過跟蹤。
余協中最後估計是因為余英時在一九七八年回國的這些不愉快經歷，加上年事已高，沒有落葉歸根，在一九八三年去世，享年八十五歲，他在去世前所寫的自述中說：「有一事不能釋然於懷者，即有家歸不得，因之而來之痛苦，終無法擺脫。」