1979年無綫開出一個月2.5萬元豐厚高薪邀黃樹棠加盟，棠哥加入無綫後一帆風順，既做演員又兼任武指，受力捧一劇接一劇，演出機會無數。可是約滿前高層約他傾續約，棠哥不滿無綫只加5,000元，傾到最後一次，臨出門口時聽到高層說：「黃樹棠，我知你幕前又得，幕後又得，不過我睇你好得幾耐！」棠哥即無明火起，一拳打落對方面上，連眼鏡都打爆，最後要幾名保安架着離開無綫，幸沒被追究法律責任。早年棠哥接受訪問時，曾表示一生遇到不少貴人，可惜左手捉到很多機會，右手卻不聽話砸掉很多良機。
棠哥與無綫關係變惡劣的另一個原因，是由於當年周潤發被指背叛無綫出走加拿大，棠哥其實與發哥拍《親情》飾演表兄弟、《網中人》又演好朋友，戲裏戲外曾經同樣老友，無綫認為棠哥和周潤發份屬老友，認定棠哥和事件脫不了關係，因此決定放棄棠哥，殺一儆百。不過棠哥近年曾在訪問中帶點欷歔說：「十幾年稱兄道弟，但分開之後，見面都會打個招呼。」他坦言層次不同了，跟成龍、洪金寶也是一樣，一切在心中。