余文樂除前女友盧巧音外，還先後和鍾欣桐、台灣女星楊丞琳等傳過緋聞，他表示現時不敢和合作的女藝人傾偈，因為不想別人誤會自己不務正業，更怕女藝人誤會有追求之意。
余文樂日前接受now.com.hk《森美帶你遊花園》節目訪問時，自稱經常為人詬病，尤其是圈中前輩。不過他認為，會鬧自己的，才是真正對自己好。阿樂說：「話你先至係錫你，好多前輩都話我，好似譚生（譚詠麟）、克勤、華哥（劉德華）、秋生咁。」
阿樂入行後緋聞不絕，除前女友盧巧音外，還跟鍾欣桐、台灣女星楊丞琳等傳過緋聞。他透露不敢和女藝人多傾談，阿樂說：「以前我覺得唔係咁嚴重，但𠵱家覺得係，同我傳緋聞嘅，都係同我合作過嘅女仔，𠵱家我同女仔合作，打完照呼、say完hi，就唔知再講唔講嘢好，因為唔知人哋點諗，怕人哋以為我不務正業。」就是因為曾有人誤以為阿樂想追求對方，所以他表示見過鬼都怕黑。
問阿樂公司有沒有不讓他拍拖？他說：「工作上表現穩定咗拍拖當然冇問題！但啱啱起步當然會有影響，拍拖唔係乜嘢大件事，畀我會揀圈外人，但個女仔會慘啲，最緊要信任。同圈內人拍拖，對我嚟講冇乜安全感。」
森美問他可有因為傳媒報道後，怕麻煩而不敢追對方，阿樂即時說：「咁又冇。」但他補充說：「我冇追過！」然後他起身追打森美，並說：「你跣我唔到嘅！」
