排山倒海的負面新聞，令余文樂曾經萌起退出娛樂圈的念頭，但最後為了家人，他放棄了這個念頭。阿樂說：「我有諗過唔做，當時傳我同蕭正楠、Juno（麥浚龍）不和，我真係覺得好煩。」
對阿樂傷害最大的，竟然是與蕭正楠、Juno不和的新聞？阿樂說：「我乜都俾人寫過，屋企、緋聞、舊情人，我諗唔到重有乜嘢俾人寫。對我傷害最大嘅係感情，同埋影響到我身邊嘅人、屋企人嘅新聞。」他頓了一頓又說：「重有對上嘅一段感情（盧巧音）。」
除此之外，余文樂最嬲的，是被指借女友上位，他說：「我去識一個女仔，唔會問人屋企有冇錢，鍾意嘅話，對方係司機、掃街都得，當然佢係有錢女亦冇問題。如果我要借女友上位，我就日日提住佢啦。」
余文樂入行後的緋聞情人多不勝數，包括舊女友盧巧音、緋聞情人鍾欣桐（阿嬌）、Cookies的Stephy等，阿樂說自己很想拍拖，他說：「有邊個唔想拍拖？有邊個唔想開心時有人分享，唔開心時有人安慰？但現實係我多嘢做到連屋企人都見唔到，阿媽都成日話唔記得咗個仔嘅樣係點，我又邊有時間去拍拖、照顧女仔？」
阿樂稱自己在圈中的女性朋友不多，他說：「阿嬌同Stephy都係好勤力同畀心機嘅藝人，呢一點好值得我尊重，但我哋私底下好少聯絡。如果有拖拍，我唔介意公開，但亦要睇對方嘅意願。」
二十一歲的大男孩，甚少會像阿樂般，認為自己一定會結婚生仔，他說：「我有諗過結婚，雖然冇限定幾多歲結婚，但我係一定會結婚生BB嘅人，因為我鍾意有家庭，如果我結咗婚都可以繼續做呢行，我想繼續做㗎！」