七四年，廉署成立，郭當時在海關工作。他坦言當時耳聞目睹政府內的烏煙瘴氣，根本不相信政府有反貪決心，「以為得個講字」。直至第一任廉政專員姬達頻頻出鏡，然後拘捕總警司葛栢，郭文緯才改觀。他翌年加入廉署，並從此學懂，凡事「頭威頭勢最緊要」，而且必須大義滅親。
「最初加入廉署，感覺深刻，每一個同事對工作都好熱情，每日興高采烈做十多個小時。當時貪污太多，所以工作好容易。衞生督察收小販錢，你在街邊等一陣已經拉一個。好忙，但好有滿足感。」
但工作壓力也好大。「每次拍門請人去接受調查，你永遠不會知道打開門後會見到甚麼，好大壓力。」
廉署選擇凌晨上門拍門是打心理戰、攻人不備嗎？「不是！我們通常七時上門拍門，一來是預計那時候一定可以找到我們要找的人，二來是，難道要在辦公室、同事面前拉人嗎？我們也不想對方太尷尬。」
上門拍門卻不及人家拍廉署的門火爆。七七年，警廉衝突，大批警察衝到廉署總部。「當時，不停有人大聲叫放火燒、衝入去，鬼佬同事頂住六樓大門，而我則守住七樓後樓梯防火門。如果讓他們衝入來就麻煩了……」郭文緯說，這件事太深刻，令他「比所有人更有理由想搞好警廉關係」。
郭文緯也比任何人更深切體會廉署的「孤獨」。他說：「當年，社交場合，大家聽到你做廉署，便說：『好，verygood！』然後行開。幸好我不是喜歡社交的人。但有時會覺得對不起太太。她在海關工作，或多或少有壓力。同事很多事情不想讓她知，因為怕她跟我提起；聚會為免我參加，乾脆不請她……但現在社會不同，不會再有這些情況。」
但即使今日，他形容自己朋友也不多，而最喜歡的運動，是可以一個人打的壁球。
這次訪問結束時，郭文緯「竟然」沒有阻止記者付了兩杯咖啡的帳單。這是以前他在廉署時從不曾發生的事。他永遠要搶着付帳，惟恐一頓午飯的「款待」會招來把柄，是記者至今見過最敏感的被訪者，有時甚至謹慎得有點誇張。
他說：「錢銀，要特別小心。」所以，退休之後，他只做義務工作，包括為香港大學專業進修學院的反貪課程設計課程和擔任講師，都分文不收。這個課程今年一月至七月首辦，九月會捲土重來。
「公務員退休制度相當好，長俸足夠供樓和生活。做義工，沒有錢銀轇轕，比較簡單。有些高官退休後加入商界，不好受……」臉上表情顯露了他的不以為然。