提到胡服，人們一定會想起戰國時期，那個「胡服騎射」故事。趙國武靈王為強盛軍隊，一改中原寬衣博帶服飾，參照胡人衣短袖窄之裝束，創造出一種便於騎射作戰之新服飾。那時很多人以違反禮教為由，反對武靈王這樣做，但爭論只是集中在「先王不同俗，帝王不相襲」上，並無深層寓意。
時至漢代，人們在觀念上，對於胡服一類事情之認識，已經發生很大變化。《後漢書》記載，漢靈帝喜好胡服、胡帳、胡床、胡坐、胡飯、胡空侯、胡笛、胡舞；另外，漢靈帝在皇宮之中，喜歡用四隻白驢拉車，他還親自操縱，馳騁周旋，以為大樂。當時京都貴戚們都爭相效仿，使驢價格與馬一樣貴重。漢代術士以為，這種現象出現，均歸於五行變異之範疇，被稱為服妖，是大為不祥之兆。當時董卓擁兵自重，其隊伍之中多為胡人，他們對漢宮大肆掠搶，填塞街市，發掘陵園，正是漢靈帝上述行為之符應。
對於靈帝馭驢之事，《後漢書》中有一段評述寫道：「《易》曰：『時乘六龍以御天。』行天者莫若龍，行地者莫若馬。《詩》云：『四牡騤騤，載是常服。』『檀車煌煌，四牡彭彭。』夫驢乃服重致遠，上下山谷，野人之所用耳，何有帝王君子而驂服之乎！遲鈍之畜，而今貴之。天意若曰：國且大亂，賢愚倒植，凡執政者皆如驢也。其後董卓陵虐王室，多援邊人以充本朝，胡夷異種，跨蹈中國。」它是說，按照古禮，天子在天乘龍，在地騎馬。而驢是用來載重遠行、上下山谷之物，原來應該由野人駕馭，帝王與君子怎麼能使用牠呢？愚鈍牲畜，被當做貴重之物，正是賢愚倒置之徵兆，預示着執政者都如驢一樣。所以此後，董卓以邊遠地區之人充斥朝廷之中，使胡人異族，佔據華夏之地。
顯然在漢代，胡服已經被歸於服妖一類不祥之物。到後來，則不但在裝束上，有些模仿胡人之舉止行為，亦被視為不祥。比如西晉惠帝元康中年，一些富家子弟經常聚在一起，披頭散髲，裸身露體，飲酒作樂，調戲奴婢和妻妾。他們排斥反對者，攻擊批評者，有識之士恥於與他們交往。《晉書》則認為，這是五行發生變異，是貌不恭之表現，預示着胡人將要入侵中國。
到唐代，民風開放，外來文化繁多，唐玄宗時，楊貴妃、安祿山都是胡舞高手。白居易《長恨歌》中霓裳羽衣舞，即是胡舞一種。另有渾脫舞、柘枝舞、胡旋舞等，甚為豐富。但唐代術士認為，此種現象均已觸犯五行禁忌，屬於服妖一類怪現象，預示着一些不祥之事將要發生。正如《新唐書．車服志》中記載：「開元中，初有線鞋，侍兒則着履，奴婢服襴衫，而士女衣胡服，其後安祿山反，當時以為服妖之應。」