香港赤松黃大仙祠與廣東的西樵淵源深厚，現時擺放在主殿的黃大仙畫像就是來自西樵。黃大仙俗名黃初平，晉朝丹谿人，相傳15歲時在故鄉浙江金華赤松山遇仙人，修成正果。傳說廣東西樵一帶曾爆發大瘟疫，得道的黃大仙就到西樵為災民治病消災，村民只要一摸黃大仙的藥葫蘆，即藥到病除，當地村民自此立祠供奉黃大仙。1915年，廣東西樵普慶壇梁仁菴道長及梁鈞轉道長將黃大仙畫像帶到香港，最初於大笪地、灣仔等地區設壇供奉，到1921年正式移至現址建祠供奉。