英國人1841年1月在現時的上環水坑口登陸，根據丁新豹寫的《四環九約》，殖民地政府在同年宣佈把今日的政府山劃為政府專用地段，在1843年宣佈建立維多利亞城，城內有四環，分別是西、上、中、下環。下環是今天的灣仔，政府山位處中央。
港督府為中心 配置花園聖堂
在40多年後的城市規劃圖則，已可清晰看到政府山的佈局，港督府在中央，前面是供港督遊玩的兵頭花園；港督府背面是官員辦公的第一代政府總部（現舊政總中座），現在的西座當年是美利炮台，在港督府及官員辦公室東面不遠處是供他們禱告用的聖約翰座堂，數組建築物組成中環的中軸。
政府山下，今天的長江中心，當年是閱兵場，前面是第一代大會堂（現為滙豐總行和舊中銀）及木球會（現遮打花園）。政府山的東面是軍事重地，山的西面是商業區及華人社區，在那裏有中央街巿，沿路上山有監獄、警署和法院（今日的中區警署建築群），再往西是培圳華人精英的中央書院（今天的荷李活道警察宿舍）。
基於這些歷史，政府山關注組指政府不但要完整保育舊政府總部的三幢建築物，還應該將政府山列為「特別保護區」，作整體保育。《蘋果》記者