趙世曾對女兒嚴苛，自己的私生活卻非常寬容。現年76歲的他，年輕時愛追女明星，即使前妻姚煒為他誕下女兒式芝、蔡珍妮（盈盈）為他誕下兒子式浩，甚至92年與Terri Holladay舉行海陸空訂婚儀式後，再誕下兒子式正，趙世曾身邊女伴仍如車輪轉，歷年曝光的女伴多達20人（詳見附圖）。聲稱有一萬個女友的趙世曾，女友們均一身珠光寶氣，可惜盛傳這些名貴首飾只是借給女友佩戴，之後要歸還，他外出食飯亦會將食剩的食物打包回府。他被問到愛情觀時曾說：「年輕時條件好，風流一下又何妨，所謂人不風流枉少年，風流本無罪嘛！」