在一個城市的高處建山頂別墅是英國人一貫的做法。高添強解釋因為未能適應亞洲的氣候，英國的總督一般都會在山頂建別墅作避暑用，所以在檳城、新加坡及印度也有山頂別墅。有記錄顯示在香港，山頂和山下的溫差10度。
第一代的山頂別墅是由第六任港督麥當勞在1867年興建。他從英軍手上買入療養院的土地興建別墅，由於是木建築，落成不到一年，便兩度遭颱風吹襲而倒塌，於是要重建。第二代山頂別墅依然是木建築，而且很簡單，在1874年被另一次特大颱風吹致部份倒塌。
到了第三代才是石建築，被認為是山頂最漂亮建築，把山頂大班屋也比下去。
訊號台扯旗通報泊岸
除了有港督別墅外，山上的訊號台自開埠早年已經存在。高說：「原本嘅訊號台高啲，無家咁近別墅，係發放訊號嘅地方，會扯旗、發炮，通知巿民有船泊岸，啲人係用望遠鏡睇訊號，所以咪叫扯旗山囉。」