這個故事發生於湖南武陵雁回塔，塔在三百年前就不知毀於何人之手，塔基沒人見過，是以塔址隨人亂說，後來有博物之人想出了一個法子，觀看北地大雁南來，可有經過此地而回頭的？若有，依其地再建一座塔，像是射了箭才畫靶。可若不這樣兒，空頂著個雁回塔之名，豈不無稽？
雁回塔邊武陵關上，有個既老、又瞎、幾乎半聾的乞丐，這一天聽河口上人聲鼎沸，說有四品官要乘官舫來巡，河道得讓出來。午後時分，還真來了。舫窗前的官人，天青褂外帶補服、頂戴，當真是四品打扮，打大老遠就探頭出窗，盯著岸邊的老丐瞧看。一旦泊船，官人奔向這老丐，雙膝跪倒，道：「您不是孫長者嗎？多年前曾經收我為義子，助我回籍求取功名，今日選得此鄉，得為開府─沒料到義父淪落如此！」說著，放聲大哭起來。老丐心想：你認錯人了罷？又一想，何不裝瘋賣傻，看他如何伺候我；好日子得過且過，還嫌多麼？遂漫聲應道：「我年老糊塗，前事如夢，都記不得了呢！」
官人依舊虔敬地說：「雖然沾染風塵，面目猶存，兒子不會錯認的。」當下傳令，請「老封翁」沐浴更衣，櫛沐鬚髮，頤養了好幾天，皤皤一叟，精神矍爍。
這官人仍然屢屢表示：讓父親淪為乞丐，日夜不能安。或是：父親修飾整潔，衣履光鮮，隨兒赴任，以光門楣。此虛榮顯貴，亦禮之大者。接著，又公然跪泣：「市中知曉父親在關上行乞的，也不在少數；還望父親為兒遮掩，莫要顯揚這些年棄養之罪。是以往舖裡買金買帛之際，姑不論合意與否，儘可搖頭挑剔，切莫計較花銷。」這一下老丐又清楚了幾分：這兒子的孝順，倒有三五分是怕人譏責，刻意要做給人看的。於是兩轎兩僕，整日在外，父子皆服四品衣冠，招搖過市。
上銀樓買完金飾，知府把著店東的手道：「我還要同父親去至緞局，何不同行，順便兌銀入帳，也省得家父再跑一趟貴號。」店東當然沒甚麼好推辭的，跟著上了緞局，看他確是大手筆，緞局中一下單，備辦的綢緞倒像要結親。
一問才知這知府還真是個快要結親的光棍，所有的衣帛金飾，除了給封翁的見面禮之外，還要運往省垣去聯姻─他一開始沒有明說，其實是不肯擾民─怕這些金舖、緞局的商賈會為了討好而大送其禮，於是託言給父親備辦禮物，算一份孝思；底下人再拍馬屁，也不該替人盡孝，如此就保全了官人的清廉。
緞局之中最珍稀寶貴之物都展示了，一時琳瑯羅列，竟然都是入貢的上品。那老封翁祇一個勁兒地搖頭，問他是好是不好，也不大說得出所以然來。然而挑剔的是買家，多年經驗使緞局和金舖的店東看出來：這一對父子果然是為了一個「孝」字而準備花大錢了。然而老封翁之不滿意是實，這該怎麼辦？
知府於是道：「何不請我妹妹過過眼呢？舍妹現在舟中，也就是半里之遙，凡將所列之物送往河干，讓舟中人一寓目即可定奪。」
這一下好，不是有兩頂轎子嗎？布莊自招一僕，隨輿押貨至舟。一伕扛去，一伕繼之，舟中人卻是見一樁、喜一樁，居然都留下了，抬轎子的先回來稟報：「繡緞皆是上品，但不知應用哪一家銀號平色銀兩？請官人自去檢點。」這知府於是同緞局主道：「煩請侍父暫坐，我去兌銀，即刻便回。」說完一拱手，還是乘著原轎而去。到了船上，大串金鐲子先分了兩對給轎夫和緞局押僕，俱謝辛苦，道：「我船中兌銀尚須片刻，爾等先去吃飯，飯後再接我回飯莊了帳罷。」
至於這故事的結局，很簡單─假官船一溜煙地順流而逝，老丐又給遺棄了一次。他想告訴捉他進官衙的兩家店東說：他還真是第一次當上人家騙棍的父親，但是沒有人相信。
至於先前提到的雁回塔是怎麼回事呢？雁回塔跟這事兒一點兒關係都沒有。