1942年1月6日，胡適因想念在美國求學的兒子胡思杜，特別在日記中寫道：「年前小三走了，我頗想念他，用毛筆寫了我五年前同他遊綏遠大同時在火車上作的一首打油詩寄給他：父子打蒼蠅，各出一身汗。堂堂好男兒，不作自了漢。」想不到一語成讖。岳南在《南渡北歸》一書中說：「十五年之後，胡思杜一根繩子作了自了漢。歷史以其特有的殘忍和荒誕，將胡適的自由主義大旗扔進了雖有前仆但無後繼的悲觀黑洞裏。」
胡思杜死於1957年9月，但哪一日和具體細節一直未搞清弄明。當年在美國的胡適雖略獲傳聞卻未敢相信。1958年3月，胡適偶爾從泛亞社香港來電獲悉：思杜已被革除副教授一職下放勞動。此時胡適只在心中默念上帝保佑這個不幸的兒子。到了這年的5月4日，胡氏回臺灣，泛亞社香港來電傳出胡思杜於「去年八月自縊身死」的消息。胡適先是一驚，待鎮定下來又將信將疑，且從心理上對這個消息的真實性予以排斥。5月12日，胡適致他的學生蘇雪林信中說：「承問及小兒思杜的消息，至感。我猜想這個去年八月自殺的消息是一種惡意的謠言，故意在五四前夕放出。我在今年一月間尚得友人間接傳出思杜被送東北的消息，故我不信此謠言，當日即用長途電話告知內人，叫他不要輕信此消息。」胡適似仍疑多於信。而事實上，胡思杜真的是死了，且已死去8個多月，墓有宿草了。
《南渡北歸》記述蔡元培、胡適、陳寅恪、傅斯年、梁思成、林徽因、梅貽琦、馮友蘭等大知識分子的生活、學術、精神與情操，對胡適高舉自由主義大旗着墨尤多。