最早的鉛筆真的由鉛塊製成，不過現時的鉛筆則以石墨為主要材料。石墨是一種黑色礦物，話說這物料於1564年，在英格蘭湖泊區發現，它畫出來的痕迹比鉛黑得多，不少當地人將石墨切成細條在市場出售，這便是「最原始的鉛筆」。
到1761年，德國化學家法貝爾覺得石墨太易碎，於是便將石墨變成粉，然後與硫磺、銻、松香等混合後加熱凝固，壓成一根根的「筆」，其硬度適中，書寫流暢，在「筆」外卷上紙後，連弄髒手的煩惱亦消除。
1812年，鉛筆換上木製「外衣」，當時美國木匠門羅在木條上刻上細槽，將鉛筆芯放入槽內，再把兩條木條黏合，筆芯被緊嵌其中，這便是今日我們所用的鉛筆了！
至於鉛筆上的「H」及「B」字分別代表Hard（硬）及Black（黑），原來當石墨摻入的粘土比例不同，鉛筆芯的硬度及顏色亦有不同，所以當筆芯愈硬顏色便愈淡，愈軟顏色便愈深。