Inthe1840sagoodmanyso-called"nativeAmericans"feltmenacedbytheinfluxofIrishandGermanimmigrants,mostofwhomwereCatholicandpoor.Theyformedasecretsociety,swearingtovoteonlyforAmerican-bornProtestantsandtoopposetheCatholicChurch.Ifaskedaboutthepoliticsoftheirorder,membersuniformlyanswered,"Iknownothing."HencetheywerecalledtheKnow-Nothings.OrganisednationallyastheAmericanPartyin1854,theybecamequitepowerful.
Alarmedbythisfloodofbigotry.AbrahamLincolnwrote,"Asanation,webeganbydeclaringthat'allmenarecreatedequal'.WhentheKnow-Nothingsobtaincontrol,itwillread:'AllmenarecreatedequalexceptNegroes,andforeigners,andCatholics.'"TheAmericanPartyrapidlywitheredaway.
一八四零年代，大量愛爾蘭和德國人移居美國，其中多數是貧困的天主教徒。很多所謂「土生美國人」擔心受到影響，就成立一個秘密社團，誓言只投票給土生基督徒，並反對天主教。問到他們這個社團的政見，他們一律以「我了無所知」為言，大家因此就叫他們做「了無所知」。一八五四年，他們組成「美國人黨」，黨員遍全國，勢力漸盛。
亞伯拉罕．林肯為這股偏執風氣感到憂慮，撰文說：「我們這個民族最初宣布『天生人人平等』，但那些了無所知黨人一旦掌權，這宣言就得改為『天生人人平等，除了黑人，以及外國人，以及天主教徒。』」美國人黨不久就轉衰微。