李香琴出身大戶人家，祖父在廣東和澳門一帶開海產店和米舖，琴姐早年隨父親舉家遷往澳門定居。李父共有五位太太，琴姐是家中長女，有兩個妹妹和兩個弟弟，對家人一向照顧有加。琴姐弟弟李樹佳於1996年在澳門賭錢欠下數百萬賭債，琴姐代弟弟還過百萬後，他死性不改，最後琴姐登報脫離姊弟關係。李樹佳之後改揸的士，還被揭發是養子。
琴姐17歲認識粵劇小生蕭仲坤，1950年結婚，誕下女兒蕭紫筠，但婚姻只維持七年。琴姐一直沒有再婚，但她曾自爆1967年香港暴動，因想移民美國，曾與師傅、盧冠廷父親盧海天在美國假結婚。琴姐多年來與譚炳文被大家認定是一對，她在2008年接受訪問澄清並無拍拖，她指回流返港後認識炳哥，兩人一同登台及合作成立影片公司，所以傳緋聞。後來炳哥突然向琴姐表示，因為太太呷醋，所以不要再做拍檔，但同時又有傳琴姐要求炳哥離婚，琴姐堅決否認此事，後來兩人繼續有合作。
