賦此詩(shī)后不久，發(fā)生了興安縣令放縱兒子打死縣衙小吏案。作為地方主官，王正功秉公執(zhí)法，因而得罪了那位興安縣令，違背了官場(chǎng)潛規(guī)則，竟被誣告罷官。后來，案情雖已查清，王正功得以恢復(fù)名譽(yù)。但已無官可做，年事又高，他被朝廷派到福建武夷山當(dāng)了一個(gè)廟祝，主管沖佑觀，算是退居二線，在那里終老。

也許是王正功被罷官的緣故，當(dāng)事人為了脫離干系，而有意用泥淖蓋住了讀書巖上方的那塊石刻。也許是天長(zhǎng)日久，從崖壁間滲出的雨水夾雜著巖縫間的泥沙，遮住了那塊石刻。總之，刻在獨(dú)秀峰讀書巖上方的王正功詩(shī)，不久就不見天日，以至被人們忘卻了。

幸好，名言的影響力量大得驚人，王正功在鹿鳴宴上作的詩(shī)，被席間的學(xué)子們帶到京城臨安，并且從臨安又流傳到四方。隨著歲月的推移，加之傳頌者文化教養(yǎng)、藝術(shù)品位各有不同，全詩(shī)被傳頌者們省略或者遺忘了，只留下了“桂林山水甲天下”一句，在坊間流傳千年而不絕于世。

歷史的浪潮呼嘯而過，很少人記得王正功是誰(shuí)，做了什么，那11名舉人中也未出現(xiàn)揚(yáng)名千古的偉人。但唯獨(dú)那一句“桂林山水甲天下”裹挾著歷史的塵沙，口口相傳，直到千年后的今天。

這期間，史學(xué)家對(duì)“桂林山水甲天下”這句話到底出自誰(shuí)口一直爭(zhēng)論不休。

有人發(fā)現(xiàn)，南宋寶祐六年(公元1258年)，時(shí)任廣南制置使兼靜江府知府的李曾伯，在其《重修湘南樓記》一文中，寫下了“桂林山川甲天下”的句子。清光緒八年(公元1882年)，廣西巡撫金武祥寫了一首《遍游桂林山巖》，把李曾伯的“桂林山川甲天下”中的“山川”改為“山水”。因此，“桂林山水甲天下”的出處，從清末到20世紀(jì)80年代，學(xué)術(shù)界一直爭(zhēng)論不休。有人說源于李曾伯“桂林山川甲天下”的一音之轉(zhuǎn)，也有人說它來自金武祥的詩(shī)句。