楊林寨鄉是在五、六十年代，於洞庭湖灘塗上建設的鄉鎮。該處除早年居住了部份原住民外，六十年代吸引了一大批由湖南婁底新化縣的移民前往落地生根。解放後，新化縣向有「武術之鄉」的稱譽。然而，位於湖南西面的新化，在內地人的心目中是出「土匪」的地方，有「湘西土匪」之稱，這是由於國共抗戰期間，許多八路軍、九路軍的將領都出自新化。
「湘陰人稱我們為煤山蠻子，看不起我們，我們在歧視之下生活了很多年。」有楊林寨鄉移民坦言，由於湘陰人對新化人存有誤解，以為他們都好勇鬥狠、野蠻，加之近年屬於新化移民的年輕人，到處惹事生非，經常與臨近鄉鎮發生武鬥，讓楊林寨鄉「臭名遠播」，加深了彼此矛盾。早年，楊林寨鄉曾出現「楊林寨鄉幫」，其成員曾攜帶雷管炸藥，炸壞岳陽水上公安船隻。