中文大學開新書院，因為選址稍為偏僻了一點（由火車站步行約十分鐘），遭中大學生會會長施城威批評，他說校方興建新書院沒有問過學生意見：「如果冇配套交通措施，啲走讀生會唔會有興趣走返去參加活動呢？咁樣無法發揮書院嘅功能。」
中大新亞書院創辦人錢穆先生在《我和新亞》一文（刊於一九六二年《新時代雜誌》）中講過一個新亞學生的故事。
那時候新亞書院還在深水埗桂林街，共有三間校室。錢先生憶述那位學生：「他起初申請入學的時候，已經年過四十，是一位兩腿帶着六七處傷疤的退役軍人，住在調景嶺難民營，擔任日夜輪流守衞的工作，有一點低微報酬，可以維持生活。為了想到新亞來讀書，就向營方的負責人要求全部改調守夜的職務，竟沒有得到允許。他說：『如果我的志向遷就了現實，一天也不能生活了；寧可失掉吃飯的工作，而決不失卻求學的機會。』後來他的難友們同情他這種刻苦好學的精神，有意成全他，就聯合起來要求把各人的夜班都和他的日班互換，主管也感動地讓步了。從此以後，他就夜間守衞，白天上課。自調景嶺到學校，快步跑一趟要費兩個小時，他每天在黎明前動身，步行趕到學校上課，傍晚又忙着跑回去準備接班。」
那時候的新亞書院，地處貧民區，只在一幢舊樓裏闢了三間教室，許多學生居無定所，為了上學，在學校天台、樓梯露宿者也有不少。但他們都讀了書，成了材。他們從來沒有問過錢穆先生，學校為什麼要開在這個又破又窮的鬼地方。