賓虹在給顧飛的論畫信札裏，對當時的海上名家只知墨守四王及揚州八怪的面目頗為不滿，把甜熟的四王畫風與揚州八怪相提並論，稍知中國繪畫史的讀者必會引以為怪：何以賓虹把揚州八怪加以貶斥？在這封致顧飛的長信裏，賓老其實有詳細的說明：
時代承平，古人遺跡，多入富貴之家。冬心（金農）、板橋（鄭燮）、癭瓢（黃慎）諸人，工書能詩，自謂文人，高出石谷之上；而不及石谷，尚得多見古畫，又能臨摹真迹。況貧窶旅食都市，安得搜求收藏墨寶？此文人作品，有大儒顏習齋，稱詩、文、書、畫為四蠹。而揚州八怪，亦不足重。
在以上這段文字裏，賓虹認為工書能詩的金冬心、鄭板橋、黃癭瓢等八怪名家，不及石谷子王翬，能多見古畫，有機會臨摹真迹。而揚州八怪大多是旅食江湖的貧窶子，哪有機會收藏古人墨寶？最後他更根據明末大儒顏元以「詩、文、書、畫」為四蠹的說法，徹底否定了揚州八怪。賓虹上面這番話細看起來，不免發現有很大的偏見。因為他在此信的上文已批評過文徵明的畫「非但枯硬，且無筆墨之可言」，又說董其昌一派的「兼皴帶染法」，「其流弊於王石谷柔靡極矣，全失筆墨法。」從他對文徵明與王石谷的批評，顯然他是重視「筆墨」的。那麼對揚州八怪來說，金冬心、鄭板橋等畫家都是強調個性，重視筆墨的，怎麼後來他竟又說八怪不及石谷，不免前後矛盾了。而且八怪中如金冬心、鄭板橋都是多見古人名迹，如何可見他們不得「搜求收藏」古畫？賓虹怕也是中了江鋆《揚州畫苑錄》裏：「非無異趣，適趨歧途」的毒了罷！