生於一九四○年紐約布魯克林區的布朗，與艾華遜的成長背景有不少相同之處。兩人同由母親獨力撫養成人，母親的名字同叫安妮（Ann），同樣來自一個貧苦家庭。
布朗的母親安妮與首任丈夫莫頓布朗（MiltonBrown）育有兩子，長子賀拔較幼子拉利年長四年半。「拉利就像個小天使，很文靜、很溫順，很有禮貌。從來不會惹上麻煩。」
布朗現年九十多歲高齡的母親憶述。在布朗六歲那年，他父親因患上動脈瘤而突然去世。「我當時不知如何告訴拉利。」安妮說。「莫頓去世一個月後，我才把真相告知他。拉利直到現在，仍感很遺憾當時沒有出席他父親的喪禮。」
丈夫去世後，安妮為了維持生計惟有拚命工作。「我每周工作七天，由早上六時起床上班，直到晚上十時甚至半夜才回到家裏，根本沒有機會和孩子們傾談。」安妮說。「我知道他們感到很孤獨，猶幸他們找到了籃球作伴；尤其是拉利，他的技術愈來愈好，更曾經在高中時一場獨得五十分。」
布朗在五九年進入北卡羅來納大學，為著名教練甸史密夫（DeanSmith）效力。在史密夫的教導下，布朗學會了無私的團體精神。身高五呎九吋的他在北卡四年間，平均錄得近十二分及三個籃板（當時還沒有助攻統計）。六七年，布朗投身ABA並在首三年成為聯盟的助攻王，平均每場取得逾十三次助攻，在六九年更協助奧克蘭登上ABA盟主寶座。