乙未34年，即纯祖退位、宪宗登基元年的1835年，令人担忧的事情终于发生了。这年，林尚沃突然被革职罢官，落得个锒铛入狱的下常对此，韩末史学家文一平这样写道：“林尚沃在洪景来之乱中有守城之功，且身为陈奏使随员出使北京，朝廷封其为五卫将，授职完营中军，林氏坚拒，未履新。54岁时，遵皇上特旨，赴郭山任郡守。在职期间，施行仁政，后因政绩卓著，被擢升为龟城府使。但事隔不久即遭朝廷严查与革职，离开仕途……期间，林氏命运多桀，似临累卵之巅。因置豪宅，与身位不符，有僭越之嫌，遭备边司追查，旋即沦为阶下囚，招致性命难保亦属自然。"文一平在这里记载林尚沃“处于累卵似的不稳定与危险之境地"是其修造的房子过于豪华、奢侈的结果。但对于文一平所说的“豪宅”，林尚沃在《稼圃集》序文里却是这样说的：“丁丑年，在先父的坟庙下盖起了房子。房子上的椽子犬牙交错、错落有致，来去过往的人朝夕都能见到。别人觉得房子好像宫殿似的，可我对此称谓却不敢当。房子盖起来了，在房子的周围垒起长长的围墙，这样房子看起来比较壮观、豪华一些，但要满足远亲近戚们居住在一起的愿望，房子还是应当盖得更体面一些。"在文一平校释的林尚沃自传中，林对“豪宅”的描写着墨颇多，称自己将父亲的坟茔移葬到三峰山下，并在其周围建起了宫殿似的房子。对于房子“奢华”，林尚沃辩解道：“许多远亲近戚居住在一起，房子盖成这样也是应该的。"但不管如何辩白，林尚沃所盖的房子确实是当时法律所不允许的、拥有99间屋子的“大宅院"。

　　古言道：“家大必有灾。”尤其不是建皇苑王宫，而是建一般私宅，不管其所有人权势有多大、家产有多富有，他都不可以建造拥有99间屋子的大宅院。因为在当时，大门的宽度是几尺、柱子的高度有多高等等，都有严格的限制。另外，私宅不得建有三门，不得有双梁两层的柱子，也不得使用附椽和刷漆涂彩。不仅如此，在日常生活方面也不能随心所欲，各种规矩繁多，如在吃饭时因身份不同而应分别使用金筷子、银筷子等。同样，头上的着饰也有“程子冠”（儒生平时所戴的帽子）和“平凉子”（平民百姓平时戴的帽子）之分。因此，林尚沃盖起了近百间的私宅就如同让平时戴着“平凉子”的平民百姓戴上皇家贵族的“程子冠”，是非常惹眼且有违法度的。 

　　林尚沃却因盖豪华私宅而被投进监狱，甚至差点儿招来杀身之祸。这似乎正像石崇大师所预见的那样，是他命中注定要遇到的人生第三次大危机。但事实却并非如此，林尚沃固然是受到微服私访的备边司的嫉恨而被投入监狱，但导致其陷入灭门之灾的最根本原因却是松伊！

　　是啊，女人是万祸之源！

　　林尚沃最终还是栽倒在女色的祸水之中，但他直到被投入监狱时，还未完全意识到自己所犯的罪行。

　　林尚沃被关进监狱已有月余。监狱里的所有罪犯都要戴上枷锁，也就是脖子上戴上木枷，脚上套上镣铐。他们当中大多是犯有“五刑”之一——杖刑以上的罪。为控制这些罪犯，并使他们饱受皮肉之苦，要用上述的狱具来鞭笞他们。同时，朝廷负责监狱事务的刑曹每月还要向各监狱派遣“月令郎官”，以监督罪犯的服刑情况。

　　林尚沃脚上没戴镣铐，但脖子上却套有枷锁。当时，官位在堂上官（正三品）以上的官吏或有功之臣入狱后享有不戴枷锁的特权。林尚沃属于地方首领，又是在洪景来之乱时守城有功的功臣，却无法享受不戴枷锁的特权，仍被划入要戴枷锁的重刑犯之列。

　　入狱一个月来，林尚沃一直认为自己的罪过只是修造与其身份不相符的豪宅，因此给自己戴上枷锁作为重刑犯论处是不合适的。然而，某一天在狱中无所事事的林尚沃为自己占了一卦后，他对自己的犯罪事实才开始有了新的领悟。他在对含意为“大宅院"的“屋"字占卦时，确认“屋"是“尸至"的意思，即“死之将临"；而对含意为“小宅院"的“舍"占卦时，确认“舍"可解为“人吉"，即“人吉祥如意"的意思，同时他又感悟到“舍”字又可解为“人舌"，即有“人的舌头"含意。这样，他终于明白，即使是拥有小的私宅，也会成为别人议论的口舌。

　　一个多月后，林尚沃出狱，但他受到“围篱安置”的处罚（这在当时是一种对高官的轻微处罚），即只能在用枸橘树作为篱笆围成的流放所内活动，过一种幽居生活。换言之，他变成了闭门不出之人。因属较轻的处罚，此时的林尚沃能够同妻妾及未婚子女们居住在一起，并且还能与父母和已婚子女们保持来往。在被流放期间，刑曹派出“保授人”对服刑人员的每日活动进行监视。因此，同所犯下的罪行相比，林尚沃所受到的流放处罚属最轻的。出狱后，林尚沃心想自己可在流放所里按照国家的许可，带着妻子洪南顺和小妾松伊共度流放生活。但是，朴钟一却站出来极力反对他这样做。在林尚沃入狱期间，为使他能够早日出狱，朴钟一曾四处奔波。平日善于察颜观色、见机行事的朴钟一本来熟人就多，这次能使林尚沃受到较轻的“安置”处罚，都是他四处活动的功劳。可林尚沃对此却一无所知。这时，松伊居住在郭山。一听说林尚沃要带松伊一块去流放，并要和他的妻子正式居住在一起，朴钟一马上进行了阻止，他对林尚沃说：“老爷。"不知是岁月的流逝，还是地位的变化，曾几何时与林尚沃兄弟相称的朴钟一这次却称他为“老爷"。

　　满脸带有怜悯之情的朴钟一接着说：“老爷，难道您真的认为您脖子上戴上枷锁，作为重刑犯入狱，仅仅是因为老爷您盖了个大房子吗？"“那还有什么？"迷惑不解的林尚沃立即反问道。

　　“现在已是谣言四起，闹得满城风雨了，怎么就老爷您一个人还不知道呢？"“什么谣言，能说给我听听吗？"“老爷！"朴钟一表情严肃地看了看林尚沃接着说，“听说朝廷要对老爷实施‘破家潴宅’的处罚，即不仅要铲平老爷家的新房子，还要把宅基变成池塘。所幸的是这一处罚没有实施。老爷您被投入监狱不是因为新房子的事，实际上是另有原因的。"“能告诉我这另外的原因吗？"“老爷，这另外的原因就是松伊姑娘！"此时，林尚沃才大吃一惊。难道自己锒铛入狱，脖子上戴上只有重刑犯才戴的枷锁是因为松伊？

　　“是因为松伊？"

　　面对林尚沃的提问，朴钟一默不作声。

　　“我在问你呢，怎么不回答？"

　　在林尚沃的一再追问下，朴钟一这才勉强答道：“是的，老爷。老爷被投入监狱正是因为松伊。"听到朴钟一说自己入狱就是因为松伊，这对林尚沃来说真是晴天霹雳。

　　“老爷，"朴钟一平静地接着说，“松伊姑娘出生时不是官妓，这是连三岁毛孩子都知道的事实。她起初当过‘官奴’，后来成为‘官妓’，这一点也是路人皆知。还有，老爷，松伊姑娘的生父是平西大乱的主谋，他是被朝廷凌迟处斩、五马分尸的要犯。老爷却将要犯的女儿纳为小妾。"“这难道有什么罪吗？"林尚沃问道。

　　“老爷真的一点也不知道松伊的生父是谁？"“是谁？松伊的生父到底是谁？"“老爷，"朴钟一两眼直盯着林尚沃说，“松伊姑娘的生父是李禧著。他是您小时候的至朋好友，与您曾有莫逆之交。"林尚沃大为震惊，差点儿晕倒，但很快又镇静下来。

　　“李禧著与老爷是至交，关系极为密切，这在平安道是无人不知的。另外，经李禧著推荐，老爷曾让洪景来这个平西大乱的头目作为账房师爷在您身边干了近一年的时间。"“这有什么错吗？在平西大乱时，我不是守城有功，并得到君王的特旨奖赏吗？这些难道你们不知道？"“当然知道，老爷。如果不是老爷在洪景来之乱时立下战功，那么老爷早就被抄家和‘破家潴宅’了。"沉默一会儿，朴钟一又接着说：“不知老爷是怎么想的，您怎么能替朝廷要犯李禧著收尸并且偷偷地运回到他的故乡呢？您难道就不知道为朝廷要犯收尸使其免遭乌鸦叼啄是在犯重罪吗？"这太不可思议了！一时间林尚沃不禁感到毛骨悚然。毋庸置疑，朴钟一说的全是事实。为凌迟处斩的要犯收尸是国法不容的。可是，令林尚沃感到纳闷的是：他所干的那些极为隐秘的事怎么忽然间就大白于天下了呢？知道这些秘密的人只有他和当时担任平安监司的郑晚锡。当然，当时是他的两个下人将李禧著尸体收好运到他的家乡嘉山，并下葬在大宁江畔的。难道是这两个下人嘴巴不严把这事给泄露了？不会的，他们不可能这样，林尚沃摇了摇头。那些下人被蒙在鼓里，根本不会知道自己所做的事。可是，朴钟一却对这个秘密了如指掌埃“老爷"，正面瞧了瞧林尚沃的脸，朴钟一郑重地继续说道，“老爷为朝廷要犯收尸的事儿备边司都知道，他们对此事一清二楚。"“可是，"林尚沃开口道，“这事同松伊有什么关系呢？你不是说我入狱都是松伊的原因吗？"“老爷，”或许是话说得太多，朴钟一的舌头有点儿打结，“松伊姑娘不是李禧著的亲生女儿吗？朝廷认为松伊姑娘是重犯的女儿，已将她的身份由原来的官奴降为婢籍。换句话说，朝廷已把松伊姑娘列入逆臣的家属并将她变成了奴婢。可老爷您却要娶她为小妾，为松伊姑娘赎身，使她由贱民变成了良民。"朴钟一的语调变得越来越恳切：“过去，朝廷将仁睦王后的亲生母亲降为济州监营的奴婢都无人敢出面求情，可见国法无情。王后的亲生母亲都可沦为奴婢，而大逆不道的罪犯之女却被您纳妾为良，免遭降低身份的处罚，这样做对老爷只能是有百害而无一利。"细琢磨起来，朴钟一的话句句都非常正确。在滔滔不绝地讲了一大通话后，朴钟一以肯定的语气问林尚沃：“老爷，现在您明白您入狱的真正原因了吧？您现在该明白您被抓不是因为您修建大宅院，而是因为松伊姑娘了吧？"通过朴钟一的一番话，林尚沃这才知道他入狱的真正原因。此时，感到气闷的他竟一句话也说不出来。仿佛觉察到了林尚沃的心境，朴钟一看了看林尚沃的眼神又打开了话匣子：“老爷，这段时间您在流放所里可要谨言慎行。老爷的一举一动都在保授人的监控之下，他们会把所看到的情况一一通报给郎官。此时此刻，虽说老爷受到的是可与妻妾、未婚子女居住在一起的安置刑的处罚，但如果硬要带着松伊姑娘在流放所里共度流放生活，则是万万不可的。"朴钟一的忠告是非常正确的：“老爷，您暂时忍耐一下。老天保佑，老爷的隐居生活会很快结束的，在此之前还望老爷要耐心等待。我知道老爷内心非常想见松伊姑娘，但这要等到流放生活结束后才行。"朴钟一就此打住了话头。