羅孚說過，「《知堂回想錄》是周作人一生中最後的一部著作」。但書由完稿到連載再到出版，中間頗多波折，後來終得在港出版，其間羅孚及曹聚仁都居功至偉。但羅孚卻謙讓以為功屬曹氏，說：「周作人晚年的一些著譯能在香港發表、出書，都是曹聚仁之功。」
羅孚還指出：《知堂回想錄》是曹聚仁建議的。是「有一次曹聚仁談起他這個想法」，羅孚認為「這是個好主意，可以在香港《新晚報》的副刊上連載。」於是曹聚仁寫信給周作人。羅更說：「在周作人看來，這是《新晚報》向他拉稿，儘管也可以這樣說，但說得準確些，拉稿的其實是曹聚仁，因為立意和寫信的都是他。」（見羅孚《回想〈知堂回想錄〉》）
《知堂回想錄》是由一九六〇年十二月開筆，直至一九六二年十一月脫稿，再到《新晚報》刊登時，已是一九六四年的八月了。羅孚後來說：「是我還有顧慮，怕他這些儘管是回憶錄的文章依然屬於陽春雪，不為晚報的一般讀者所接受；另一個原因是要看看他對敵偽時期的一段歷史是如何交代的。後來見他基本上是留下了一段空白，這才放了心。」
即使是如此惴惴然的小心謹慎，但《回想錄》在連載個多月之後，仍給腰斬了。羅孚的交代只是：「我是奉命行事」。
內情局外人難盡悉，只知曹聚仁曾去信安慰周作人：「聚仁因為和京中最高層有往來，還可以做得主，所以要把這件事弄完成來。……可奈這兩年身體太差了，不能回京看看，也不能出遠門。有些話，等我當面說給您吧！」（一九六五年十二月八日）
其實，曹聚仁是以虛言誑老者，此時的曹氏已是「不能回京」了。事緣曹氏所編的《現代中國劇曲影藝集成》，因不肯銷毀書中二三十年代藍蘋在滬、寧影劇界活動資料，因而犯諱。周恩來要保護曹，乃警誡他非得北京許可，不要回國。（見曹藝《現代東方一但丁──陪伴先兄南行記事》）。
形勢令知堂老人無奈，曹聚仁也為羅孚解釋「腰斬」之事，說：「對羅兄不要錯怪，因為他也只能執行京中的政策，不能自己作主的。」（一九六六年十一月廿五日）
其實，《知堂回想錄》被腰斬之後，羅孚仍未放棄，初擬轉在《海光文藝》上擇要刊載。但文革風暴波及香港，《海光文藝》也夭折了。未幾，更遺憾的是知堂老人也在折磨中死去。後來，是曹聚仁說項得在新加坡《南洋商報》副刊《商餘》上連載，那已是知堂老人逝去的第二個年頭了。
曹氏又安排《南洋商報》將稿酬直接匯至三育圖書文具公司，用以解決回想錄的排版及印刷費用，乃令該書能在一九七〇年五月出版。曹氏在回想錄的「校讀小記」坦言：「這部《知堂回想錄》，先後碰到了種種挫折，終於和世人相見了。此稿付印時，知堂老人尚在人世，而今老人逝世已三年餘，能夠印行問世，我也可慰故人於地下了。」
其實此時的曹聚仁正處於貧病交迫的淒涼晚境，曹氏以病弱之軀，親負校對之責，「伏案校對，腹痛如割」。書出版後兩年，曹氏也在澳門病逝了。
再說此書出版後，也有些波折。因書前編置有周作人的幾封信，其中一封犯了當時的忌諱。羅氏勸曹氏刪去，免招麻煩。所以書雖出版了，卻莫名其妙的要「收回」，要撕毀犯忌的信頁，重裝封面，出版社也換成曹氏「聽濤出版社」的名義。
曹氏在校讀小記說：「此刻看了全書，我相信大家一定會承認這麽好的回憶錄，如若埋沒了不與世人相見，我怎麽對得住千百年後的社會文化界？可惜，那位對老人作主觀批評的人，已不及見這本書了。我呢，只求心之所安，替老人出了版，知我罪我，我都不管了。」
曹氏雖非中共黨員，但自承是同路人。曹氏仍為此書的出版，向費彝民、羅孚報備。「彝民、承勳二兄：關於《知堂回想錄》的刊行，我個人負完全責任，如有錯誤，我個人願受任何處分，決無怨言。」「我並不居功，也不辭責。我先後校了三回，內容絕無反動之點，而且都是第一手史料，值得保留下來。」字裏行間，隱約顯示出曹氏是在為羅孚開脫。
三育版《回想錄》雖得曹氏三校，但老眼昏花，仍訛錯諸多。說到訛錯，還有以下一個重要因素。
在上世紀六十年代香港報紙多用活版印刷，排字工人執字排版，都是五指黑墨，故有「黑手黨」之稱。當稿件發到字房，為求速度，往往一紙剪成幾條，由各工人分紙執字，那供執字的原稿，在校對之後，即使不「五馬分屍」，也已模糊難看了。
由於羅孚愛惜知堂手澤，於是不惜工本，請人錄副，使能用抄本發排。此事曹聚仁在致周作人信中也有透露：「非有人抄副本不行，羅兄要保留原稿的。抄副本得花一筆錢的。」（一九六六年十一月廿五日）因此之故，知堂手稿便能保存下來。
但稿件抄錄也同時會增加訛錯（這是三育版錯字多的一個原因）。在回想錄初版之後，曹聚仁便將整套原稿轉交羅孚保存，說：「兄可留作紀念，三五十年後，也許將是一份有價值的文物呢。」
羅孚費心費力保存的這部《知堂回想錄》手稿，在北京軟禁十年之後，回港即檢出，托人帶到北京，捐獻給「中國現代文學館」。
在《知堂回想錄》成書半個世紀之後，牛津大學出版社又為該書出版，那是以知堂老人原稿重新排校，並附錄一些過去不常見的文獻資料，對研究知堂老人生平謗譽事功，至關重要。