文人雅集之後，林默在山縣城的名氣更大了。不文人都慕名而來，想要閱讀《西遊記》的初稿，與他探討創作思路。林默也藉此機會，廣好友，搜集更多的創作素材，對《西遊記》的初稿進行修改和完善。

然而，名氣帶來的不僅是讚賞，還有麻煩。那位在雅集上被林默反駁的舉人，心中一直懷恨在心，暗中散布謠言，說林默沉迷於妖魔鬼怪的故事，不務正業，有辱文人風骨。這些謠言漸漸傳開，影響了林默在私塾的境。

張大戶本就對林默講民間故事的事心存不滿，如今又聽到這些謠言，心中更是不悅。他找到林默，語氣冰冷地說道：“吳先生，如今外面謠言四起，都說你不務正業，沉迷於旁門左道。若是再這樣下去，不僅會影響私塾的名聲，也會耽誤孩子們的前途。我看你還是自行辭職吧。”

林默心中清楚，張大戶這是藉機趕他走。他想要反駁，卻也知道，謠言止於智者，在這個時代，一旦被上“不務正業”的標籤，便很難洗刷乾淨。與其在這裡爭論不休，不如主離開，專心創作《西遊記》。

“既然張大戶容不下晚生，晚生自會離去。”林默平靜地說道，“只是這些孩子，天資聰穎，張大戶能另請良師，不要耽誤了他們的學業。”

張大戶冷哼一聲，沒有說話，算是默認了。

林默收拾好自己的東西，告別了孩子們。孩子們得知他要走，都十分傷心，紛紛哭着挽留。林默心中也十分不舍，他了孩子們的頭，說道：“諸位同窗，天下無不散的筵席。我雖不能再教你們讀書，但會一直記着你們。你們要好好讀書，將來為有學識、有擔當的人。等我寫完那本關於猴王的書，定會回來給你們看。”

告別了孩子們，林默回到家中，將自己被辭退的消息告訴了母親。老婦人雖十分擔憂，卻也沒有責怪他，只是嘆了口氣，說道：“罷了，辭了就辭了。在家好好休養，專心做自己想做的事吧。只是往後的生計，要更加拮据了。”

林默心中愧疚。失去了私塾的束修，母子二人的生計只能依靠家中微薄的積蓄，日子註定會十分艱難。但他不能放棄創作《西遊記》，這不僅是吳承恩的夢想，也是他穿越而來的意義。

為了維持生計，林默開始四奔波，尋找一些抄寫、校勘的活計。這些活計辛苦且報酬微薄，常常需要熬夜趕工，但他毫無怨言。白天，他外出幹活，晚上，便藉著油燈的微，繼續撰寫《西遊記》。

日子過得十分艱難，母親的也漸漸垮了下來。因長期營養不良，老婦人患上了咳嗽的病，日漸消瘦。林默看着母親虛弱的樣子，心中十分焦急，卻又無能為力。他只能更加努力地幹活，攢錢給母親買葯，同時出時間，陪伴在母親邊。