自一九八九年五月十九日到天安門廣場看望絕食學生後，趙紫陽再沒有公開露面。但是，他不曾被世人遺忘，而且一直成為中共第三代領導人江澤民的心病。趙下台十年後，即自一九九九年以後，趙紫陽還多次獲提名角逐諾貝爾和平獎，國際聲譽更隆，亦令喜歡在國際舞台上出風頭的江澤民，如芒刺在背。
親手將趙紫陽推下台的中共元老鄧小平，對趙紫陽的能力仍然甚為欣賞。一九九○年代初，鄧小平眼見江澤民無心推動改革開放，南巡之際高呼「誰不改革誰下台」，並派人找趙紫陽，希望他復出。由於趙紫陽堅持須先平反「六四」，以致未能復出，但江澤民對趙的猜忌則加深了一層。
一九九七年鄧小平逝世後，趙紫陽當時曾經致函中共十五大，要求當局重新評價六四，令江澤民採取了懲罰性的報復行動，禁止趙紫陽會客，令趙的活動範圍，除了住宅外，縮窄至只有兩處：醫院和郊區一個由農民開辦的高爾夫球場。
北京的一些老幹部私下議論：「可見此人（指江澤民）心胸之狹窄。」也有人說：「共產黨的做法和國民黨不同，張學良被蔣介石軟禁後，舊友可以照常往來，趙紫陽就不行。」