「文化大革命」的起點可以追溯到一九六五年十一月十日姚文元在上海《文匯報》上發表〈評新編歷史劇《海瑞罷官》〉的文章，這一天，汪東興代替楊尚昆擔任中央辦公廳主任。然而在一九六六年的《五．一六通知》發出前，「文革」還只是在報刊上進行「大批判」，批《海瑞罷官》作者吳晗、批「三家村」，全國上下，還沒有一個「單位」貼大字報，批判本單位的「走資本主義道路的當權派」。
北京大學聶元梓等人在一九六六年五月二十五日貼出了一張大字報，矛頭直指北大黨委和北京市委，說他們搞修正主義。毛澤東說聶元梓的大字報是「全國第一張馬列主義大字報」。事實上，在聶元梓貼出大字報前兩天，北京建國門「學部」大院中就貼滿了大字報，有數百張之多。「學部」是「中國科學院哲學社會科學部」的簡稱。「學部」第一張大字報，也就是全國第一張大字報的作者是《哲學研究》雜誌編輯部主任林聿時和吳傳啟，他們都是中央文革小組成員關鋒的好朋友。我當時聽說，這張大字報是在康生和關鋒授意下寫的。
學部傳達康生、也可能是毛澤東的話說，「哲學社會科學工作者要到農村去滾一身泥巴」。五月下旬，當時，我們研究組（不叫「研究室」）的十多個人，就在北京郊區的通縣徐辛莊人民公社「滾泥巴」。我們「滾泥巴」的具體做法是在徐辛莊人民公社裏蓋三間像大慶油田那樣的「乾打壘」房子。五月三十日，我們接到通知，要求我們全體「滾泥巴」的人回北京參加文化大革命。當天晚上，我們點亮了一千瓦的電燈，通宵達旦幹活，油漆三間即將造好的房子的門窗。晚上油漆是看不清楚的，天亮後，我們發現，門窗上的油漆厚薄不均，十分難看。房子造好，沒有住一天，我們就回到了北京。
當時最早的「文革」，首先是揭發批判「黨內走資派」，「革」本單位黨的領導人的「命」。哲學所所長是潘梓年，陳冷是副所長。這個潘梓年就是潘漢年的哥哥。五月三十一日下午，我們就在哲學所參加了全所大會。會議從下午開到六月一日天亮。當時，哲學所的黨組織的最高領導人是黨支部書記陳冷。近二十小時的會議，主要是揭發陳冷如何不讓大家貼大字報，這就被視為對抗文化大革命，為陳冷辯護的人，也受到了猛烈的攻擊。我記得最清楚的一件事是，一位叫姓鄒的研究人員揭發黨小組長于良華緊跟陳冷，勸說人不要貼大字報。于良華對鄒說了一些「勸說」的話，于良華不承認。鄒就拿出了兩人面對面談話時手放在桌子下面的記錄，這使于良華啞口無言。我從來不知道可以這樣暗地裏記錄別人談話、並作為「證據」，這使我非常震驚。整個晚上會議中，大家沒有睡意，高潮迭起，到早晨，陳冷就被「鬥」垮了，哲學所的全部權力落到了「第一張大字報」作者林聿時和吳傳啟手中。
我之所以記住近五十年前的具體時間，主要是那天早晨七點鐘，中央人民廣播電台播出了《人民日報》的社論〈橫掃一切牛鬼蛇神〉，陳冷也同大家一起聽廣播。陳冷在來哲學所前是廣東省委宣傳部長，從六月一日起，陳冷與支持他的幾個人在一起，都成了「牛鬼蛇神」，每天在大樓走廊和廁所打掃衞生。
在《人民日報》上大批鄧拓的《燕山夜話》時，林聿時、吳傳啟第一張大字報的矛頭，針對的是學部政治部主任楊述寫的《青春漫語》。批楊述後，學部大權仍然掌握在黨委書記關山復手裏。從六月一日林聿時、吳傳啟奪取了哲學所大權後，他們的目標就是奪取全學部的大權。學部大院到處貼滿了批判楊述的大字報。六月四日，學部在王府井吉祥劇院召開批判《青春漫語》大會，會議在幾個人發言後，忽然有人衝上主席台搶奪話筒，當場指責坐在主席台上的關山復、劉導生對楊述是「假批判、真包庇」，台下高喊衝擊會場者「滾下台！」在《人民日報》號召「反擊資產階級保皇派」的社論的影響下，支持關山復的人被視為「保皇派」。「六四」大會後幾天下來，關山復、楊述和學部副主任劉導生、張友漁就成了「牛鬼蛇神」，被剝奪了全部權力。
六月四日後，學部建立了「文革小組」，領導全學部的文化大革命。當時還沒有甚麼「紅衞兵」，學部還沒有明顯地分裂為兩派。在六月、七月，其他研究所的一些年輕人開始起來按哲學所的「模式」造反，批鬥當權派、批判所謂「反動學術權威」。學部是聚集了全國哲學社會科學各個學科的專家權威，除了個別人如哲學所所長潘梓年、副所長金岳霖外，幾乎都打成了「牛鬼蛇神」、「黑幫」。拿文學所來說，所領導何其芳、毛星、研究室主任唐弢、朱寨、余冠英、蔡儀、賈芝、《文學遺產》的陳翔鶴是「走資派」、「三反分子」。俞平伯、錢鍾書、吳世昌、吳曉玲、孫楷第是「反動學術權威」。在文學所批鬥大會上，何其芳、毛星的頭上被套上了廁所裏的字紙簍，在所裏被批鬥之後，這些人頭上戴着紙帽子、胸前掛着黑牌子，由所長何其芳帶隊在學部大院敲鑼打鼓、遊街示眾。錢鍾書戴的是古錢幣式的紙帽子。學部大院有文學所、外國文學所、哲學所、歷史所、《新建設》雜誌社和學部機關等單位，到六月下旬，「揪」出來的「牛鬼蛇神」、「黑幫分子」有一百多人，他們多次站在一號樓後、戴着高帽子接受訓話、批鬥，我至今還保留着當時一張照片，照片上許多人還能認出。
六月二十六日，時任中央宣傳部長的陶鑄，向學部派出了以國務院文辦主任張際春為首的工作組。這個工作組進駐學部後，即與林聿時、吳傳啟、潘梓年相結合，共同領導學部的運動。
當時學部有四個研究歷史的研究所，一是在學部大院的「歷史所」、二是在東廠胡同的「近代史所」、三是在王府大街的「考古所」，還有一個「世界歷史所」。當學部許多研究所的領導垮台後，歷史所卻沒有變化。六月中旬，歷史所兩個年輕人王恩宇、傅崇蘭起來反對歷史所領導酈家駒（是今天中國著名演員海青的舅舅），我曾經在一次食堂召開的歷史所大會上公開支持王恩宇、傅崇蘭。因為歷史所副所長尹達是中央文革小組成員，王恩宇、傅崇蘭被打成「反革命」，受到「隔離審查」。我在哲學所卻沒有受到批評，也沒有人贊同我的做法。
一九六六年七月十七日，我到歷史所禮堂參加歷史所全體大會。我選擇第一排邊上就坐，看到禮堂講台上掛着毛澤東、劉少奇、周恩來、朱德、林彪的巨幅畫像。我在哲學所和其他地方都沒有見過五個人的像掛着一起，所以，我盯着林彪的像仔細看，我越看越覺得「文化大革命」是林彪挑起的。對他歌頌毛澤東的話，甚麼「一句頂一萬句」，我格格不入。我想，要「造反」，就應當把林彪的像從講台牆上撕下來。這天，關鋒、戚本禹來歷史所講話，宣佈為王恩宇、傅崇蘭平反，酈家駒停職反省，明令切斷尹達與歷史所一切聯繫。我一點也沒有為王恩宇、傅崇蘭感到高興，回到哲學所，我更加感到文化大革命不可理解了。
一九六六年八月八日，文化大革命的《十六條》公佈。當天，《哲學研究》編輯部的彭定炎寫大字報起來反對林聿時、吳傳啟，我終於跨出了大膽的一步，我加入了彭定炎的行列，成為最早反對「全國第一張大字報作者」的「八人」之一。從這一天開始，我發現，我獲得了行動的充份自由，我不再參加哲學所文革小組和我所在的「研究組」召開的所有會議，也沒有人對我發號施令了。