余文樂2000年以模特兒入行，當年已迷倒不少女fans，他入行以來女性緣極旺，先後跟圈中多位女星拍拖及傳緋聞，直至2017年才跟台灣皮帶大王的千金王棠云結婚。
兩人2000年一同拍港台青春劇《青春@Y2K》而擦出愛火花，更有指這段情是男方的初戀，但戀情只維持了很短時間。唐詩詠及後談到分手原因，指自己當年經常發脾氣。
2001年兩人因合作廣播劇而撻着展開姊弟戀，女方大男方足足七年，不過當時盧巧音大讚余文樂思想成熟及懂得照顧女生，令她甚有安全感，但拍拖一年多有指男方花弗分手收場。
2002年因合作電影《一碌蔗》而傳緋聞，有指余文樂因此跟阿嬌另一緋聞男友陳冠希交惡。2003年1月，兩男更在頒獎禮後台上演一場「撞膊事件」大打出手，一度令他們形象直插谷底。
兩人在2003年開始拍拖，不過因為男方花心致多番離合，有指余文樂曾五次求黃伊汶復合，最終兩人拖拖拉拉相戀五年，最終還是分手收場，及後余文樂曾指黃伊汶是一生最愛。
余文樂在2012年捲入桃色緋聞，有傳他相約嫩模王路瑤開房，又叫她錄叫床聲，雖然女方提供文字訊息作為證據，但余文樂卻堅稱完全不認識對方，更指摘她是借他的名氣博上位。
2013年情人節兩人在赤柱拍拖斷正，公開認愛，有指當時他們已拍拖幾個月。之後余文樂不時以名車接送Kary，但這段情只維持九個月便告終，Kary隨後跟初戀男友復合及結婚。
2016年初余文樂與周冬雨合拍內地真人騷《我們相愛吧》，二人合演一對假想夫妻，但卻有很多親密互動，男方多次在鏡頭前主動親吻女方面珠，因而傳出戲假情真。
余文樂於2016年10月傳出戀上模特兒朱韻韻，當時有指兩人已秘密拍拖一年，二人還經常被拍到共赴朋友聚會。但有指他們有不少共同朋友，才同場出現，但女方坦言雙方關係好。
