於2001年，余文樂出道即公開與盧巧音的戀情，惜維持十月便告吹，傳因他在台灣與楊丞琳拍戲見異思遷所致，後來又爆出早於00年，余文樂拍港台劇時被同劇的蔡卓妍狂追，但他選擇了唐詩詠。
03年初，他為鍾欣桐與陳冠希撞膊起衝突，後與應采兒合作又傳被對方追求，直到近年傳出余文樂的正印女友是黃伊汶，其感情才叫較為穩定，不過早前又有傳他與小學同學搞斷背，與蔡卓妍到泰國拍戲，又傳二人背着另一半翻撻，但都被當事人否認。
全職追女仔？
其實我真係好專一，拍拖就會成個人跌晒入去，適應咗一樣嘢之後，就唔想改變，係個幾悶嘅人，唔鍾意接受陌生嘅嘢，尤其好親密嘅人，日日瞓醒隔籬嗰個都唔同人，係好變態嘅事嚟㗎，OneNight我絕對唔得。而且我鍾意同對方有默契嘅感覺，大家知大家要乜，適應到大家。
拍拖追求嘅唔係話你有幾靚，揀女朋友我冇乜要求，心地好，唔好咁八卦囉，呢啲要相處落先知，所以我一定係識落做咗朋友後先會拍拖，一見鍾情係唔得㗎，外表有幾靚，對十年都厭啦，相處唔到都冇用，我追求舒服同溝通到。
我係個愛恨分明嘅天蠍座男人，分手要分得亁亁淨淨，先可以同第二個一齊。好記仇㗎，人哋對我唔住，我會好恨，憎到你死。過一段時間啦，我都可以同舊女友做到朋友，但係和平分手嗰啲喎。
我好鍾意同天蠍座嘅人做朋友，第一個女朋友同我同月同日生，都係天蠍座，一嗌交就好大鑊，不過𠵱家都做得番朋友。第二個女朋友係處女座，我真係唔得處女座，頂佢哋唔順，真係冇辦法溝通到。我身邊朋友多數係雙魚座同山羊座，好傾得埋，圈中最老友咪杜汶澤囉，其他都係幕後人。
我入行後拍拖數目一隻手數得晒，不過𠵱家真係冇拍拖，呢一年都咁忙，差唔多個個月都喺外地做嘢，冇時間兼顧就唔好害人哋。我一拍拖就要成日見黐住嗰隻，接受唔到異地分隔㗎。我可以為事業放棄愛情，老實講我讀書唔多，𠵱家工作叫有啲基礎，得24歲人，做咗嘢先啦，我要養全家㗎，個妹仲要去法國讀書。
大家覺得我花弗，人哋點睇我冇法，個樣係阿媽生。我喺呢行接觸咁多唔同嘅人，每次都因為合作傳緋聞，但如果因為咁而抗拒同人接觸，係合作唔到㗎。我冇避忌，但從來唔會問人攞電話，𠵱家我有佢電話號碼嘅人好少，因為我唔會太信人，但信咗就好信，鍾意你就好信。
