数年后，柳生三次踏上黄色大道。
虽然他依旧背着包袱，却已不是赴京赶考。自从数年前葬了小姐，柳生尽管依然赴京，可心中的功名渐渐四分五裂，消散而去。故而当又是榜上无名，柳生也全无愧色，十分平静地踏上了归途。数年前，柳生落榜而归，再至安葬小姐的河边时，已经无法确认小姐的坟冢，河边蓦然多出了十数座坟冢，都是同样的荒凉。柳生伫立河边良久，始才觉得世上断肠人并非只他一人。如此一想倒也去掉了许多感伤。柳生将那些荒冢，一一除了草，又一一盖了新土。又凝视良久，仍无法确认小姐安睡之处，便叹息一声离去了。
柳生一路行乞回到家中时，那茅屋早无踪影。展现在眼前的只是一块空地，母亲的织机也不知去向。这情景尚在柳生离开时便已预料到了，所以他丝毫没有惊慌。他思忖的是如何活下去。在此后的许多时日里，柳生行乞度日。待世上的光景有所转机，他才投奔到一大户人家，为其看守坟场。柳生住在茅屋之中，只干些为坟冢除草添土的轻松活儿，余下的时间便是吟诗作画。虽然穷困，倒也过得风流。偶尔也会惦记起一些往事，小姐的音容笑貌便会栩栩如生一阵子。每临此刻，柳生总是神思恍惚起来，最终以声叹息了却。如此度日，一晃数年过去了。这一年清明来到，主人家中大班人马前来祭扫祖坟。丫环婆子家人簇拥着数十个红男绿女，声势浩荡而来。满目琳琅的供品铺展开来，一时间坟前香烟缭绕，哭声四起。柳生置身其间，不觉泪流而下。柳生流泪倒不是为坟内之人，实在是触景生情。想到虽是清明时节，却不能去父母坟前祭扫一番，以尽孝意。随即又想起小姐的孤坟，更是一番感慨。心说父母尚能相伴安眠九泉，小姐独自一人岂不更为凄惨。
次日清晨，柳生不辞而别。他先去祭扫了父母的坟墓，而后踏上黄色大道，奔小姐安眠的河边而去。
柳生在道上行走了数日，一路上尽是明媚春光，姹紫嫣红的欢畅景致接连不断。放眼望去，一处是桃柳争妍，一处是桑麻遍野。竹篱茅舍在绿树翠竹之间，还有涧沟里细水长流。昔日的荒凉景象已经销声匿迹，柳生行走其间，恍若重度首次踏上黄色大道的美好时光。昔日的荒凉远去，昔日的繁荣却卷土重来，覆盖了柳生的视野。然而荒凉和繁荣却在柳生心中交替出现，使柳生觉得脚下的黄色大道一会儿虚幻，一会儿不实。极目远眺，虽然鲜艳的景致欢畅跳跃，可昔日的荒凉并未真正销声匿迹，如日光下的阴影一般游荡在道旁和田野之中。柳生思忖着这一番繁荣又能维持几时呢？
柳生一路走来，遇上几个赴京赶考的富家公子，才蓦然想起又逢会试之年。算算自己首次赴京赶考，已是十多年前的依稀往事。再思量这些年来的无数曲折，不觉感叹世事突变实在无情无义。那几个富家公子都是一样的踌躇满志。柳生不由为之叹息，想世事如此变化无穷，功名又算什么。
道两旁曾经是伤痕累累的枯树，如今枝盛叶茂。几个乡里人躺在树荫下佯睡，这一番悠闲道出了世道昌盛。迎风起舞的青青芳草上，有些许牛羊懒洋洋或卧或走动。柳生如此走去，不觉又来到了岔路口，近旁的河流再度出现在他眼前。
那正是他首次赴京时留迹过的河流。河旁的青草经历了灭绝之灾，如今又茁壮成长。而长柳低垂的柳树曾状若尸骨，现在却在风中愉快摇曳。柳生走将过去，长长的青草插入裤管，引出许多亲切。来到河旁，见河水清澈见底，水面上有几片绿叶漂浮。一条白色的鱼儿在柳生近旁游来游去，那扭动的姿态十分妩媚。这里的情形居然与十多年前所见的毫无二致，使柳生一阵感慨。看鱼儿扭动的妩媚，怎能不想起小姐在绣楼里的妩媚走动？想到数年前这里的荒凉，柳生更是感慨万分。树木青草，河流鱼儿均有劫后的兴旺，可小姐却只能躺在孤坟之中，再不能复生，再不能重享昔日的荣华富贵。柳生在河旁站立良久，始才凄然离去。来到道上，那城已依稀可见，便加快一些步子走将过去。柳生来到城门前，听得城中喧哗的人声，又窥得马来人往的热烈情形。看来这城也复原了繁华的光景。柳生步入城内，行走在街市上，依然是五步一楼，十步一阁。金粉楼台均已修饰一新，很是气派。全不见金粉剥落、楼台蛛网遍布的潦倒模样。街市两旁酒店茶亭涌出无数来，卖酒的青帘高挑，卖茶的炭火满炉。还有卖面的，卖水饺的，测字算命的。肥肥的羊肉重新挂在酒店的柜台上，茶亭的柜子上也放着糕点好几种。再看街市里行走之人，大多红光满面，精神气爽。几个珠光宝气的仕女都有相貌甚好的丫环跟随，游走在街市里。一些富家公子骑着高头大马也挤在人堆之中。柳生一路走去，两旁酒保小厮招徕声热气腾腾。如此情景，全是十多年前的布置。柳生恍恍惚惚，仿佛回入了昔日的情景，不曾有过这十多年来的曲折。片刻，柳生来到那座庙宇前。再看那庙宇，金碧辉煌。庙门敞开，柳生望见里面的百年翠柏亭亭如盖，砖铺的地上一尘不染，柱子房梁油滑光亮，也与十多年前一模一样。荒年席卷过的破落已无从辨认，那杂草丛生，蛛网悬挂的光景，只在柳生记忆中依稀显示了一下。柳生解开包袱，故伎重演，取出纸墨砚笔，写几张字，画几幅花卉，然后贴在墙上，卖于过往路人。一时间竟围上来不少人。虽说瞧的多，买的少，可也不过片刻功夫，那些字画也就全被买去，柳生得了几吊钱后心满意足，放入包袱，缓步离去。
不知不觉，柳生来到那曾是深宅大院，后又是断井颓垣处。走到近旁，柳生不觉大吃一惊。断井颓垣已无处可寻，一片空地也无踪迹。展现在眼前的是一座气派异常的深宅大院。柳生看得目瞪口呆，疑心此景不过是虚幻的展示。然而凝视良久，眼前的深宅大院并未消去，倒是越发实在起来。只见朱红大门紧闭，里面飞檐重叠，鸟来鸟往，树木虽不是参天，可也有些粗壮。再看门前两座石狮，均是凶狠的模样。柳生走将过去，伸手触摸了一下石狮，觉得冰凉而且坚硬。柳生才敢确定眼前的景物并不虚幻。
他沿着院墙之外的长道慢慢行走过去。行不多远，便见到偏门。偏门也是紧闭，却听得一些院内的嬉闹之声。柳生站立一会，又走动起来。不久来到后门外，后门敞着，与十多年前一般敞着，只是不见家人走出。柳生从后门进得后花园。只见水阁凉亭，楼台小榭，假山石屏，甚是精致。中间两口池塘，均一半被荷叶所遮，两池相连处有一拱小桥。桥上是一凉亭，池旁也有一凉亭，两侧是两棵极大的枫树。后花园的布置与十多年前稍有不同，然而枫树却正是十多年前所见的枫树。枫树几经灾难，却是容貌如故。再看凉亭，亭内置瓷墩四个，有石屏立于后。屏后是翠竹数百杆，翠竹后面是朱红的栏杆，栏杆后面花卉无数。有盛开的桃花、杏花、梨花，有不曾盛开的海棠、兰、菊花。柳生止住脚步，抬头仰视，居然又见绣楼，再环顾左右，居然与他首次赴京一模一样。绣楼窗户四敞，风从那边吹来，穿楼而过，来到柳生跟前。柳生嗅得一阵阵袭人的香气，不由飘飘然起来，沉浸到与小姐绣楼相会的美景中去。全然不觉这是往事，仿佛正在进行之中。
柳生觉得小姐的吟哦之声就将飘拂而来。这么想着，果然听得那奇妙的声音从窗口飘飘而出。又四散开去，然后如细雨一般纷纷扬扬降落下来。那声音点点滴滴如珠玑落盘，细细长长如水流潺潺。仔细分辨，才听出并非吟哦之声，而是瑶琴之音。然而这瑶琴之音竟与小姐的吟哦之声毫无二致。柳生凝神细听，不知不觉汇入进去。十多年间的曲折已经化为烟尘消去，柳生再度伫立绣楼之下，似乎是首次经历这良辰美景。虽然他依稀推断出接下去所要出现的情形，可这并未将他唤醒，他已将昔日与今的经历合二为一。
柳生思量着丫环该在窗口出现时，一个丫环模样的女子果然出现在窗口，她怒目圆睁，说道：
“快些离去。”柳生不由微微一笑，眼前的情景正是意料之中。丫环嚷了一声后，也就离开了窗口。柳生知道片刻后，她将再次怒目圆睁地出现在窗口。瑶琴之音并未断去，故而小姐的吟哦之声仍在继续。那声音时而悠扬，时而迟缓。小姐莫非正被相思所累？
丫环又来到窗口：“还不离去？”柳生仍是微微一笑，柳生的笑容使丫环不敢在窗前久立。丫环离去后，瑶琴之音戛然而止。然后柳生听得绣楼里走动的声响，重一点的声响该是丫环的，而轻一点的必是小姐在走动。柳生觉得暮色开始沉重起来，也许片刻功夫黑夜就将覆盖下来，雨也将来到。雨一旦沙沙来到，楼上的窗户就会关闭，烛光将透过窗纸漏出几点丝来，在一片风雨之中，那窗户会重新开启，小姐将和丫环双双出现在窗口。然后有一根绳子扭动而下，于是柳生攀绳而上，在绣楼里与小姐相会。小姐朝外屋走去时像一条白色的鱼儿一般妩媚。不久之后，小姐又来到柳生身旁，俩人执手相看，千言万语却化为一片无声无息。后来柳生又攀绳而下，离去绣楼，踏上大道。数月后柳生落榜归来，再来此处，却又是一片断井颓垣。
断井颓垣的突然出现，使柳生一阵惊慌。正是此刻，绣楼上一盆凉水朝柳生劈头盖脑而来，柳生才蓦然惊醒。环顾四周，阳光明媚，方知刚才的情景只是白日一梦。而那一盆凉水十分真实，柳生浑身滴水，再看绣楼窗口，并无人影，却听得里面窃窃私笑声。少顷，那丫环来到窗口，怒喝：
“再不离去，可要去唤人来了。”
刚才的美景化成一股白烟消去，柳生不禁惆怅起来。绣楼依旧，可小姐易人。他叹息一声转身离去。走到院外，再度环顾这深宅大院，才知此非昔日的深宅大院。行走间，柳生从包袱里取出当初小姐临别所赠的一缕黑发，仔细端详，小姐生前的许多好处便历历在目。柳生不觉泪流而下。