在眾人眼中，黃遠輝是一個沒有架子的銀行家，在他身上找不到半點銅臭味。自小在山區木屋長大，雖然每天「一家六口一味好餸」，但生活快樂，父母踏實和勤勞的性格，培養出他不怕辛勞、不怕窮和不呃不騙的性格，亦造就了今天的成就。
嗜好不花錢 追求精神滿足
黃遠輝興趣多多，愛好耕作、行山、品茗、考古、攝影、閱讀，但他不會在這些嗜好上大灑金錢，只追求精神上滿足。被問到有何珍貴茶壺或古玩收藏，他直接了當回答：「冇！」更說藝術、古玩的追求並無止境，珍貴且具歷史價值的物品，應放在博物館讓人欣賞，與其不斷追逐，倒不如花點錢買一本圖鑑欣賞，更覺滿足。
人生已過了50個年頭，黃遠輝自言距離退休不遠，在60歲前必定退下來，之後會做自己喜歡的事──讀書、考古、繪畫、到內地遊歷，過寫意的簡樸人生。