趙世曾一生未婚，三名子女趙式芝、趙式浩和趙式正分別由三位不同女友所生，都受傳媒關注，現況各有不同。
現年41歲的趙式芝（Gigi）是趙世曾長女，是趙世曾與當年紅歌星女友姚煒所生。現為卓能集團副主席兼執行董事的她，2012年跟波爾錶太子女楊如芯結婚，成為本港首對公開承認同性婚姻的名人，當時趙世曾激烈反對，更一度出五億元招婿，Gigi多年來關注同性平權，不過同性婚姻只維持了七年，離婚後火速跟小學同學JW蜜運（圖），相愛至今。
現年37歲的趙式浩，是趙世曾與70年代女星蔡盈盈所生的兒子，現為卓能集團非執行董事，未夠30歲已與前女友Winnie Liu未婚誕下一子，2011年成立帝皇集團投資房地產。趙式浩近年積極從政，2015年加入自由黨，現為重慶市政協委員及自由黨青年團主席，去年跟NowTV的新聞小花廖康如奉子成婚，再誕一子Adrian（圖）。
現年27歲的趙式正是趙世曾與美、越混血名模Terri Hollday所生的兒子，Terri曾與趙世曾訂婚，但於趙式正三歲時分手，Terri現穿梭香港、美國兩地生活，跟隨媽咪生活的趙式正於城大修讀I.T.MBA課程，並與式芝及式浩感情要好，但生活極其低調，只間中陪伴爸爸或媽媽出席公開場合。
