工商銀行的出現，與中國銀行業發展息息相關。1953年中國的國家銀行高度集中在人民銀行，它不僅是中央銀行，亦經營商業銀行業務。此時的中國銀行是人行的國際業務機構；建設銀行直屬財政部，負責管理和分配用於基礎設施建設專案的政府資金；農業銀行則為農業提供融資服務。
1979年初，農行及中行從人行分拆出來；建行由國務院監管。三家銀行分別專門從事農業融資、外滙和貿易融資，以及建築和基礎建設融資業務。工行則於1984年1月1日成立，專門從事城市商業融資，人行原有的商業銀行功能轉移至工行。
1994年，中國建立三家政策性銀行，即國家開發銀行、中國進出口銀行和中國農業發展銀行，承擔國家專業銀行的主要政策性貸款功能。因此四家國家專業銀行轉為國有商業銀行。
1998年，財政部注資2700億元入四大商銀。1999年，中國成立四家資產管理公司──華融、長城、信達及東方，收購四大商銀的不良資產。
2003年12月，中國開始重組銀行業，匯金公司分別向建行和中行注資225億美元。工行05年4月開始重組，匯金公司注資150億美元，財政部則保留原有的1240億元資本金，兩者因而成為工行的最大股東。