霍英東共有三名太太，他與髮妻呂燕妮及二太太馮堅妮共生育六男三女共九名兒女，孫及外孫亦有十多名。最令霍英東懊惱和難堪的是十多年前霍文芳販賣軍火在美國被判刑，最令他歎息的是孫兒霍啟中因藏毒被法庭判罰。
1991年底，霍文芳因非法販賣1.5萬支AK-47自動步槍，在美國紐約被捕。霍文芳一案公開後，霍英東當即透過發言人發表聲明與他劃清界線，稱霍文芳有自己的生意，與霍家生意無關。
由於霍文芳認罪及答應轉做控方證人，被關押半年後，霍英東花了50萬美元（約390萬港元）擔保他回港。據悉，1950年出生的霍文芳並非霍英東與馮堅妮親生，而是馮堅妮改嫁霍家時帶來的，並改姓霍。
孫大宅外藏毒
另外，霍英東次子霍震寰與息影女星陳琪琪所生的兒子霍啟中，於04年7月11日清晨在港島薄扶林霍家大宅附近，因為形迹可疑，被巡邏警員截停搜身，結果在其身上搜出10多克重大麻煙絲及吸食工具，以藏毒罪將他拘捕，後被法庭判罰1,500元兼留案底。