赤坎鎮有350年歷史，係與周莊、烏鎮、朱仙、黃姚齊名嘅「中國五名古鎮」之一，由於赤坎係著名僑鄉，鎮上建築物風格中西合璧，導演王家衛的《一代宗師》也在此拍外景。赤坎鎮有兩大姓，一為司徒，另一為關族。1920年司徒族人開設閱覽室教育子孫，後來移居海外族人提議興建圖書館，圖書館1925年落成，館內陳列司徒族名人事迹，仲收藏慈禧太后題字。見到司徒氏咁巴閉，關氏不甘後人，1925年拍板興建圖書館，1929年啟用，規模媲美司徒氏圖書館，入面亦擺設古董精品。