關海山經歷過四次婚姻，膝下有四女兩子，首名妻子是於廣州認識後同居，結婚後育有一女，但妻子兩年後不顧而去；第二名妻子則於越南認識，兩人育有兩女一子，兒子關聰現於台灣發展其演藝事業，但這段婚姻亦告失敗；之後關再於馬來西亞結識第三名妻子葉娥瑞，兩人育有一女，可惜最終亦告分手；至60年代，關海山於新加坡邂逅現時的妻子曾娣容，結婚後育有一名兒子關可維，這段逾30年的婚姻維持至今，但與其他子女關係疏離。