潘迪華出生於三十年代的上海，父親是冰塊發行商，她經常請同學吃冰糖水。
當時的大上海喧鬧繁華，潘迪華家住法租界中等房子，對面是優雅高尚法式洋房。與潘迪華父親相熟的一對有錢夫婦，把她認作乾女兒。她記憶中，乾爹住在3層高的中式房子，裏面鋪木地板，大廳擺放中國傢俬，偏廳掛油畫及西洋玩意。潘迪華說，當時上海人崇洋趕潮流，亦中亦西，代步用摩登大房車也用古老黃包車，賣身侍婢以「春夏秋冬」為名，十足巴金筆下的古老時代人物。
隨母來港 與父分離
49年中國政權易手，共產黨兵臨城下，有妻有妾的父親要作出抉擇。潘迪華的母親是正室，也是很傳統的舊式婦女，但她仍然堅強地帶着兩個女兒坐最後航班趕來香港。結果，潘迪華離開了父親、離開了她至愛的上海霞飛路與貝當路。
18歲的潘迪華來到戰後香港，坐電車由東到西來回看一次，簡陋的舊香港當然不能與大上海相比，她想：「有一天，我會回到上海。」半個世紀過後回望當年過客心態，潘迪華笑說這可能是她始終學不好廣東話的原因。