紅樓所處的青山農場舊址，已被廣泛認同為革命基地。不過，有關紅樓的歷史卻有爭議，以致未能成為法定古蹟。坊間相傳孫中山和興中會的革命分子，於1901至1911年期間，曾在紅樓商議革命；甚至有傳孫中山與紅顏知己陳粹芬，曾在紅樓居住。
建築屬民初
可是，嶺南大學香港與華南歷史研究部主任兼香港地方志基金會秘書長劉智鵬卻在《香港人香港史──四大寇之孫中山》指出，青山農場由建設到放棄，孫中山都在海外，不可能在屯門策劃行動。此外，遍查清末民初革命史料，亦從未見有紅樓的紀錄。另外，紅樓的建築風格被指屬民初風格，估計是1920年代建成，即在1911年辛亥革命以後。由於未有足夠歷史資料肯定紅樓與孫中山革命活動有直接關係，所以紅樓雖被列為一 級歷史建築，但未能晉身法定古蹟，古蹟辦無法干涉其業權、用途和改動。政府自2000年起將興建紅樓公園（青山農場舊址）列為「籌劃中的基本工程」，惟至今仍在排隊，尚未開展工程。