薛世恒的前妻陳法拉和弟婦諸葛梓岐均是圈中人，因此連他和弟弟薛嘉麟也成了新聞人物，加上父親薛濟傑擁中星集團，家底豐厚，經常傳出妯娌、兄弟、父子不和等傳聞。薛世恒說︰「雖然同藝人一齊係預咗，但殺到埋身唔識面對，係有啲困擾。」但他強調家人關係好，與弟弟由細玩到大︰「大家好似共同創作一個劇本咁，譬如女人一定係貪錢、兄弟會爭產等，大家按住邏輯發揮幾精采，但唔一定係事實。我只想講，屋企人唔一定意見一樣，但兄弟如手足，有乜嘢事閂埋門兩兄弟傾掂佢，兩兄弟感情係一世。」
弟弟近年添了兩個兒子，薛世恒亦開始心郁郁想做爸爸︰「都想㗎，但怕有代溝，隨緣啦！不過我對小朋友係有過敏反應，見到佢哋軟腍腍好似豆腐咁，我會驚。𠵱家多咗同小朋友玩，開始接受。」