趙世曾為香港富豪趙從衍三子，70年代趙從衍曾擁60多艘船，與包玉剛、董浩雲、曹文錦合稱「香港四大船王」，旗下的華光於1973年在港上市。趙從衍於1988年中風，把生意交給五子女打理，五人因爭產對簿公堂。1997年趙世彭、趙世光和趙世亮聯手，對抗趙世曾和母親，爭產風波轟動一時。趙世曾擁有英國杜倫大學建築學士學位，80年代創辦卓能地產，現為上市公司卓能集團（131）主席，估計身家過百億。
趙世曾一生女友多不勝數，有指女友超過一萬人，包括女星蔡珍妮、姚煒、樂蓓等，經常陪他出席活動兼珠光寶氣。排場最誇張一次是2010年他找來第一屆中國小姐19位佳麗穿着三點式泳衣，到他的「趙苑」進行平頂儀式兼共晉午餐（圖），可謂艷福無邊。不過早年他被爆每次女友出席活動後，珠寶首飾必須歸還，他亦被指「孤寒」，趙世曾其後澄清說：「首飾係阿媽留落嚟嘅家傳之寶，我當然要好好收藏，亦唔會拎出去賣，英女王都係咁啦！」而曾被趙世曾指「最後一個女友」的北方佳麗烏仁，就曾埋怨男方過年只給她700元零用錢。