20世紀初販賣鴉片起家的希慎創辦人利希慎，因欲興建提煉鴉片的工場，及傳聞篤信風水師之言，於1923年斥資380萬元向怡和買下銅鑼灣東角後面一座叫鵝頭山的整個山頭，並命名為利園山。
惟因後來英國簽署禁售鴉片的日內瓦協定，遂逼令其改變發展的策略，轉為地產發展。
期間，希慎在山上曾興建一座名為利園的遊樂場，內有酒樓、茶室，和劇場、遊藝、魔術雜耍等的表演場所。及後，當利氏家族決意發展地產後，又傳聞因篤信風水關係，將山頭剷平，以發展其地產王國，保留多幢商住大廈作長線收租之用，其中前身為興利中心、現已重建為希慎廣場亦屬利園山範圍之內。
另早年已售出的山上恩平道、白沙道及啟超道地皮，據了解，希慎近年已積極收購所在舊樓，希望有朝一日重新整合利園山業權和掌領導市場地位。