黃霑於五十年代在喇沙就讀，他承認曾跟李小龍打過架，決戰場地是巴富街著名的沙橋（sandbridge），所有同學都是在那裏決鬥的，因為那裏可以安全地避過修士和老師的法眼。當年他們正就讀小五，黃霑知道李小龍比自己強悍，不是他的對手，但因李小龍欺凌他的兄弟，他覺得即使捱打也要跟對方拼一拼。打鬥只維持了十分鐘，結果黃霑傷痕纍纍，但不打不相識，兩人其後竟做了好朋友。
說到喇沙歲月裏最難忘的事件，是五九至六○年間他擔任總領袖生時，有一次給校長斐利時修士痛罵一頓，他感到受冤，但修士沒有給他解釋的機會。黃霑心有不甘，即時脫下總領袖生襟章，對修士說：「我辭職了！」說罷哭着離開校長辦公室。
往後的數日黃霑刻意避開斐利時修士而行，直至無可避免碰個正着，校長對他直說：「黃，我想你遺留了一些東西在我的辦公室。」他從桌上取出總領袖生襟章，交還給黃霑。
當時黃霑正為自己的衝動懊悔了多日，看着校長遞上襟章，頓感興奮與感激。