出身名門的胡家驊作風一直很低調，93年與港姐出身的吳婉芳結婚息影，婚後育有兩子一女。22歲長子Caspar去年在倫敦大學經濟系以一級榮譽畢業，現修讀碩士課程，次子Lynus在牛津大學讀Year3，身型健碩。
胡家驊出身富豪之家，家族顯赫。爺爺是五、六十年代知名富商、大慈善家胡兆熾，胡家驊父親胡寶星爵士則是胡關李羅律師行創辦人之一；至於胡家驊姑姐胡慕芳，則是香港賽馬會董事周永健的太太，任和記黃埔副集團董事總經理，是有名的打工皇帝。
眼光獨到的胡兆熾，當年引入一個名為「喜蓮」的電髮水做代理，做到幾乎家家都有一支，成為名牌象徵，更賺到第一桶金，1931年成立「騏利企業」，並涉足地產、餐飲、畫廊、酒店及科技等，位於中環威靈頓街的騏利大廈是胡氏家族的標誌。
胡兆熾有三位太太，育有15名子女，正室吳昭文有7女一子，包括兒子胡寶星。胡寶星曾赴英國倫敦留學，返港後與英國同班同學合組「胡關律師行」，至73年再合併為「胡關李羅律師行」，99年獲英女皇頒授爵士勳銜。
胡寶星有四子一女，更將「喜蓮」這個字由商品帶到馬圈，以紀念父親，皆因他所養馬匹，均以「喜蓮」冠名，包括「喜蓮之星」、「喜蓮精神」、「喜蓮之威」等。08年，胡家驊、胡家驄、胡家驃及胡家雯四兄弟姊妹在英國引入甚有名氣的「喜蓮福星」。
「喜蓮」系馬匹出賽，胡家驊都會偕吳婉芳及仔女入馬場打氣兼享家庭樂，而好友許晉亨亦有馬匹「駟寶」，有時更會互拉頭馬。
關於養馬，胡家驊祖母原來都有養馬，而且都是以「勁」字命名，如「勇勁」、「超勁」等。