黃樹棠曾表示因在情路上受過幾次傷害，而不想結婚，但他36歲時於1982年與其歌唱老師、比他年輕五歲的胡桂蘭結婚，翌年2月誕下一子黃榮璋。當年這段師生戀曾是一時佳話，二人拍拖一年後閃婚，從日子推斷是奉子成婚，可惜夫妻相戀23年，胡桂蘭於2005年時因癌病離世。棠哥兒子黃榮璋今年已38歲，亦加入演藝行業，他兒時有做過童星拍攝過兩套亞視作品，長大後轉做幕後，在2004年加入無綫配音組，為經典外購劇如韓劇《浪漫滿屋》、《惡作劇之吻》男主角配音，以及日本人氣動漫如《銀魂》、《火影忍者》及《鋼之鍊金術師》等配音，並曾兼任無綫報幕員。2012年他離巢無綫，現為ViuTV及Netflix配音，又開班教授配音技巧。
棠哥一門三傑，其妹黃文慧亦是資深演員，黃文慧於60年代粵語片年代出身，初期她走性感路線，多演舞女、情婦，之後又演潑辣奶奶及大反派，入行時僅得18歲的她已被安排做33歲曾江的母親，之後於無綫及亞視拍劇，也是杜琪峯御用綠葉。黃文慧代表作為《射鵰英雄傳》中飾演黃蓉翁美玲的盲眼師姐梅超風，另她於電影《嚦咕嚦咕新年財》飾演劉德華有老人癡呆症的母親亦維肖維妙，2005年及2010年兩度被提名競逐香港舞台劇最佳女配角。
