趙世光除有老婆前邵氏女星何琍琍外，還有女友程秀麗、紅顏譚玉梅和劉園園。
程秀麗
程秀麗曾任職食品傳銷商，邂逅趙世光後為他誕下一對私生子女，2005年三母子曝光後，趙世光帶他們向何琍琍交代，子女選擇跟媽咪生活，趙世光承擔程秀麗一家生活費，當時何琍琍曾說：「件事當然係有人有目的，趙生都好清楚。」
譚玉梅
曾代表菲律賓參選華裔小姐的譚玉梅，1994年成為趙世光的紅顏知己，不時結伴出席公開場合，又聯名開公司。2008年兩人關係告一段落。這14年間，譚玉梅曾持有19間物業賺近2千萬，2010年以1,928萬購下赤柱單位。
劉園園
6年前趙世光腦中風留醫，有傳其秘書劉園園（Cindy）是三奶，幾乎每日探望，當時何琍琍否認：「Cindy喺17歲開始跟趙生，要吼佢一早吼咗。趙生中風，我又要處理上海業務，叫Cindy照顧佢。」
