潘廸生第一任妻子楊敏德是溢達集團主席，其父是紡織大王楊元龍，二人育有一女潘楚穎，但最終離婚收場。八八年潘廸生再娶國際級影星楊紫瓊，九一年宣布離婚。翌年潘廸生再婚，娶地產及金融富商余啓超千金余桂珠，婚後育有四子女。