吳綺莉一歲時父母離異，之後她跟隨母親鄭黎明生活，但童年時好似人球一樣被踢來踢去。幾歲開始，由住在汕頭的外公湊大，「我出世冇耐，外公中風有半邊身郁唔到，但佢就成日瞓喺床抱住我，我就好似街童咁，幾歲人仔成日周街走。」到升上小學，吳綺莉獲安排返香港，被送到港島區一間名校小學寄宿，生活十足軍訓：「每朝起身都要整好蚊帳、摺被，每個人有一個鐵櫃，每一格都要好整齊，歪咗就要對住牆罰企。三點半響鬧鐘（放學），五點返課室做功課同自修，八點全部熄燈瞓覺。」吳綺莉指最深刻是一次十號風球，「有啲同學早走咗，得番幾個同學，宿舍嘅玻璃爛晒，外面又大風大雨，好驚。」吳綺莉透露曾多次偷走，但不成功。「小學大少少，畀我唔使寄宿，但唔夠一年又俾人送去第二度，美國一個鄉下地方，要坐螺旋槳內陸機去，全個town只有五個中國人，基本上方圓500里都見唔到人，只係見到鹿，嗌救命都冇人理。」捱不夠一年又頂唔順返香港，一年後再被送走，她苦笑說：「今次去英國，點知都係咁得意，成個town都係老人家。」
17歲那年，吳綺莉終於展開自己的人生，暑假後返港，她形容自己「懵吓懵吓」參加了亞洲小姐，並以熱門姿態奪冠，當年有傳吳綺莉是因為媽媽靠攏亞視高層的關係才會勝出，她斷言否認：「唔係，嗰時我同契媽返香港都唔夠一星期，我契媽個契仔Nelson，嚟我屋企講開暑期工，話不如幫劉娟娟手，我以為係做服裝指導嘅助手，陰差陽錯就去咗選美，當時真係貪玩。」
吳綺莉形容一直與媽媽溝通是「十分十分十分十分之少」，即使她誕下卓林後搬到上海定居，母女間仍是少說話，她曾於內地真人騷中透露，當年是靠媽媽每月接濟，試過將人民幣好似「撒溪錢」般掉在地下，要她逐張逐張執起，又試過半夜揮菜刀逼她去找成龍，吳綺莉不願多談：「嗰次只係朋友傾偈，算啦，過咗去。」2015年，母親於上海病逝，年前吳綺莉將媽媽的骨灰運回香港安葬，完成其遺願。有指媽媽離世，吳綺莉繼承了一筆遺產，當年以約1,500萬full pay購入大坑千呎寓所，吳綺莉說：「遺乜鬼產，我多年來都keep住工作，電視主持、freelance做電台主持，仲有做過網上節目。」
吳綺莉得不到媽媽的愛，與爸爸在街頭相遇，也形同陌路人，「11歲喺街撞過，當時我返上海探我阿嫲，落樓時咁啱見到我爸爸，但冇嗌對方。」到今年年初，吳綺莉在社交網透露跟超過30年沒有見面的爸爸聯絡上，父女傾了逾半小時的長途電話，吳綺莉很感恩說：「我爸爸個妹（姑姐）send我爸爸電話畀我同事，我咪試吓打畀佢，始終嗰個係我爸爸，都76、77歲，年紀都大，我覺得係緣份。」談話中提起很多往事，「佢冇say sorry，但講咗好多以前嘅嘢。」
原來吳爸爸早已另組家庭，並在美國生活多年，近年親戚朋友逐漸回流返香港、上海等地居住，現只餘下他一個人在美國獨居，「佢退咗休，生活都OK，𠵱家每日都匿喺屋企，佢有話疫情過咗返嚟探我，我就話不如搬返嚟東南亞呢邊住，表舅父嗰啲又喺上海，自己一個人做乜，佢就話『30幾年習慣晒』，仲好好笑咁講『墳地都買好咗』，但我話咁遠邊個去探你，趣事嚟，佢仲用緊最舊款電話，冇得視像。」血濃於水，能把生命中帶有遺憾的一塊拼圖砌上，吳綺莉甜在心中。
