一九八○年至八七年，在「第二代領導核心」鄧小平的提拔下，胡耀邦和趙紫陽分別擔任中共總書記和國務院總理。但是外界曾指「胡趙體制」的運作並不十分順暢，兩人在工作時曾出現矛盾。趙甚至被指在胡因學潮而下台一事上，不但沒有出手相助，還曾經落井下石，成為其政治生涯的污點。
據中央黨校前第一副教育長吳江所著《十年的路：和胡耀邦相處的日子》記載，當年由趙紫陽主管的國務院系統，對總書記胡耀邦常插手國務院工作頗有微言。
趙甚至曾親自向黨內元老鄧小平和陳雲寫信，批評胡耀邦「不好合作」，希望兩老解決這個問題。
八六年底全國爆發學潮，翌年年初胡耀邦便因為「未能旗幟鮮明地採取有效措施」而下台。吳江在書中指出，接替胡出任總書記的趙紫陽，在事件中起了關鍵作用，甚至指他曾落井下石。
面對上述的指摘，據悉長年遭軟禁的趙紫陽也曾作出辯解。根據海外流傳的一份趙在九五至九七年間的訪談紀錄文稿披露，趙本人也承認自己的確在工作上與胡有矛盾，因此在其下台一事上沒有幫他說話，但也沒有說過落井下石的話。
趙又指，即使當年沒有發生學潮，胡也會下台，因為鄧小平早已認為胡在「反資產階級自由化」的工作上不夠重視，甚至胡對鄧就此問題的三次託人帶話，也沒有理睬。