霍英東在韓戰期間大量偷運物資到內地，同時惹來英美兩國政府十分不滿，將霍英東有關公司列入黑名單，對其生意諸多刁難；其中星光行及一號碼頭在英美夾擊下，令霍英東損失慘重。
霍英東與何鴻燊、何添、關啓明及鍾明輝等人合組九龍置業公司於1962年開始興建星光行（當時稱為九龍商業大廈），整座大廈總投資額達3,000萬元，當中750萬元由霍英東投資，另1,000萬元向滙豐銀行貸款，由霍英東出面作擔保，餘款由其他股東承擔。
禁售美國貨阻撓裝電話
星光行落成招租時，當時美國駐港領事將星光行列入「黑名單」，明確宣布所有星光行的租客都不能買賣美國貨，連美國製造的收銀機也在禁售之列。
正當霍英東以超低價每呎9角招租時，香港電話公司致電給各個有意租用星光行的商戶稱：「如果租星光行，接駁電話可能遙遙無期。」結果大部份租戶連按金都不要就走了。
偌大的星光行，一時間冷冷清清，最後只好以3,750萬賤價售予置地公司。
被迫放棄貨櫃碼頭計劃
港府在60年代末期，推出葵涌一、二、三、四號四個貨櫃碼頭項目，霍英東個人獨力投得最大的一號碼頭，但當時的港英政府卻要霍英東擔保每年至少要有20萬個貨櫃在碼頭停泊，而當時全港的貨櫃箱總數都沒有20萬個，霍英東找船王董浩雲商量後，認為無把握，最後只好放棄。
30多年後，霍英東憶起這件事時說：「這是沒理由的，港府是出一些難題，不讓我做；所以我乾脆放棄了，後來港府轉給了幾個做貨櫃船的公司經營……」