离垢园是浙东贾氏的花园。贾氏名云章，字天孙，从小就聪明机智。考中秀才后多次参加考试，最后都名落孙山。从此以后就修建花园，种花植树自得其乐。久而久之，渐渐形成了洁癖，屋里屋外床上桌上没有丝毫灰尘，即使是厕所也经常不断冲洗。他用“离垢”二字命名花园，用“襄云”二字命名住宅，写了一副对联说：
米襄阳爱洁成癖，倪云林嫉俗如仇。
贾生对鼎彝书画等古董和艺术品，对花鸟虫鱼，全部都珍爱如性命一样，倾家荡产去收购也在所不惜。至于亲戚邻里有急难来请求帮助，他就把大门紧紧关上，根本不予理睬。他生有一个儿子，名浑，字许桥，弃儒经商。儿子每次极力规劝父亲，贾生根本听不进去。儿子哭泣着向神祈祷说：“父亲有洁癖，百般规劝心也不能回转。父亲被世人嫉恨，怕要生祸灾。跪请神灵暗中保佑，感激万分！”贾生知道后非常生气，开始是谩骂，后来就用棍棒痛打，于是父子之间平时不是很亲近。
贾生有一天清晨起床，督促书童擦拭书桌茶几。童儿打扫时不小心把一尊定陶瓷器打碎了，贾生怒不可遏，用鞭子乱抽。童儿痛得钻入书桌下，书桌被掀翻，砚台又跌碎了。贾生愤怒暴躁，拿起一把刀，童儿把刀夺过来自杀而死。童儿父亲向官府控告，许桥在官府上上下下花钱买通，私自献上秦代古董凤爵，厚葬书童，并且答应终身赡养书童父亲，这才了结官司。一天晚上，贾生和妻子蓝氏小酌，丫鬟捧上热羹，碗烫手，丫鬟偶尔失手，碗掉在地上摔得粉碎。贾生大怒说：“这个碗是供春制的精品，你这是断我的命根子！”大喊大叫拿棍棒来，丫鬟害怕极了，就去跳井自杀。许桥厚葬丫鬟，而且叫来僧侣给丫鬟诵经超度。不久有贾生的同窗好友前来拜访，问起贾生收藏些什么古董。贾生取出宋代的眉子砚向好友炫耀。好友拿着砚石呵了一口气，想要试试砚台是否温润。贾生厌恶他太不卫生，叽里咕噜不停地埋怨。好友略加劝说，贾生发怒生气，用砚台狠狠地砸好友，几乎砸碎他的脑袋。一次贾生又用烧红的火炭煮汉代的玉珮；不小心失火，火灾蔓延到邻居家里，风大火烈，顷刻间好几家被烧光。许桥背着父亲赔礼道歉，并且厚加赔偿，才得以平安无事。
妻子蓝氏委婉劝告贾生说：“古人把清洁作为修养身心的一个规范，你却把喜爱清洁变成缠身的魔障。如果你再不改悔，恐怕随时随地都遍布荆棘，寸步难行，哪里还称得上是离垢园吗？”贾生听了发怒，打她耳光，妻子痛哭。贾生每次想和妻子同房，总要检看是否是吉时良辰。如果没有忌讳，就准备了温水，同房后洗涤身子，换衣熏香，做出各种各样的恶劣的行为。当晚妻子被打耳光后哀哭到深夜，有一个漂亮女人从外面进来说：“姐姐好冤枉啊！这种男人毫无一点感情，我看到他几乎要向他吐口水。”蓝氏漫不经心地答应着。女人又说：“我和你一起游玩花园找点乐趣。”说着从袖管中取出一个环圈，拿给蓝氏看，说：“这圈圈里面很好玩。”蓝氏朝着圈内一看，果然有楼台花木，金碧辉煌。于是蓝氏对着镜子涂脂抹粉，仔细装扮，端正好衣衫。女人把一条罗带系在屋梁上，对蓝氏拜了又拜。蓝氏回头看看桌上灯光如豆，门外丈夫的鼾声正浓，心里凄凉万分，徘徊一阵后上吊自尽。丫鬟发现后，急忙跑着告诉许桥，已经无法挽救了。许桥扶着尸体悲痛呼号，哭得死去活来。贾生知道这件事后，仍然用衣袖在擦拭宣德炉，只是掉下几滴清泪罢了。
讣告传到岳丈家里，岳丈蓝叟跑到县衙控告贾生。县令派遣差役来到贾家门口，气势汹汹，凶恶如虎，进门后就大声吆喝，尽情地吃喝。邻居也乘机涌入离垢园，乱摘花果。贾生看着花木备受蹂躏，痛苦极了，失声悲哭。蓝叟看到了，误以为他还有妻子死去的悲哀，又因为许桥给了重金贿赂，这才忍痛撤诉，官司才算了结，可是从此贾家家道中落。烂铜碎玉，从前用高价买来，现在都廉价抛售。贾家渐渐缺粮断炊，仅仅剩下一座荒园。贾生成了鳏夫。许桥还没有成婚，父子两人时时相对哭泣。
一天，忽然有一个客人带着筐儿来拜访贾生，仙风道骨，风度翩翩，站立门外。贾生邀请他进门说话。客人自称姓张，没有字号，人们都叫他张老相公。张某知识丰富，博古通今，讲得头头是道，天花乱坠，贾生只遗憾和他相见太晚。许桥打算把他留下安慰老父，把一身破裘衣送当铺换钱，亲自买酒菜，点上灯烛，暂且留他住下。自从贾生有了洁癖后，君子厌恶他，小人欺诳他。富贵变成了穷困，朋友都断绝往来。现在有张某来做伴，贾生不禁狂喜了好久。可是张某讽刺随便，他的痰吐在墙上，贾生心里一定发怒；他在庭院内小便，贾生脸色一定难看。
一天，贾生勉强和张某一起坐着，张某的童儿又把架上的鹦雏给弄死了，于是贾生怒不可遏。张某说：“别发怒！别发怒！我带你游览一处胜境，用来赎罪，怎么祥？”不知不觉中贾生跟随张某到了假山后面，遇到一个石洞，弯下腰走进去。又爬行了几十步，山洞渐渐宽敞，路渐渐平坦，到达一所花园，天地顿时豁然开朗。眼前只见苍松挺立在道路两旁，流水涓涓，白玉雕成桥梁，野花作为画屏。两面石壁上都是摩崖石刻，都是蝌蚪文样子的奇字，很像是秦汉以前的书体。翻过一重山岭，又见到一个古洞，洞口有五色薜荔，下垂着五彩的丝线，像是门帘。进入内室，插在架上的都是夹着象牙书签的图书，还有一些丝竹乐器。炉内还有点燃的香，帘幕上有漂亮波纹，矮桌上横放着琴，古锦制成琴囊。贾生想解开琴囊看看，张某说：“不行。这是我师傅弹的琴，如果别人的手指触动琴弦，一定会有天神下降，风雨大作，轰雷滚滚。你既然来到这个地方，我不能不做个东道主。”说完向内里一呼，许多美女出来忙碌，盛宴已经摆好了，美酒也已经温好，不仅品味佳绝，而且那些器皿特别古朴珍贵。张某用大杯子劝酒，说：“这里和你家的离垢园相比，怎么样？”贾生结结巴巴答说：“远远胜过我家！”一会儿美人上来献歌献舞，柔情似水，使人心醉神迷。张某也抽出古剑给贾生看道：“这是鹿卢七星剑。你会舞剑吗？”贾生说：“我不会。”张某从容不迫地扎紧衣袖，随即起身左盘右旋舞剑，寒光闪灼。美女还拨抚瑶琴，声音的节奏和舞剑节拍相应。
忽然听见急迫响亮的敲门声。一个美女从门缝张望，说：“师傅回府了！”众多美女霎时惊散。张某也变了脸色，说：“你赶快随我从后门离开。”出了后门，路径弯弯曲曲，绝对不是来时所走的路。贾生看见楼阁众多的地方，上面着写“琅嬛秘府”，收藏金石古董的地方称“证古斋”，收藏经史图籍的地方称“辩理窟”，收藏诗词的地方称“游艺轩”，收藏书法绘画的地方称“怡情馆”。又看到一栋三层巍峨高楼，向上矗立云霄。高楼的第一层称“与天为友”，第二层称“与古为友”，第三层称“与今为友”。还有小的村落，田亩参差错杂，都有标记说明。一是清田，二是心田，三是福田。田里盛开富贵花，种植吉祥草，浇灌功德水，培育净土。两人行走翻越了几十座高山，峰峦叠翠，山路平坦开阔，看到的风景有种种名字，什么心头方寸地、欢喜园、水晶域、光明藏等，楼台金碧辉煌，奇丽风景炫人眼目。突然转到另一个路径，景物顿时全都变了，贾生凝神端详，已经是在自己家园中了，原来他根本没有离开家门一步。张某说：“今日游览得愉快吗？”贾生说：“我们游览的不过是空中幻景罢了。”张某说：“什么是真？什么是幻？你认为真就真，认为幻就幻。真或幻都由心生，却不受地域的限制。”
从此贾生把张某奉为神明，家中所藏稀罕古玩都拿去向张某请教。张某都非常轻视，没有一件是赞许，贾生认为他太过分了。张某说：“如果你不相信我，那我反而要问你，眼前架子上放着的六尺高的古铜象，你以为是什么东西？”贾生说：“铜象满身铜绿，斑驳陆离，不仅形象制作工巧，雕刻也是充满了吉祥如意，是货真价实的秦代铜器。”张某说：“秦铜倒确实是秦铜，你知道秦代人打造这个做什么用吗？”贾生说：“不知道。”张某说：“是女子用来小便的器具。这种不干净的东西还要高高供养在上，难道不是要把人弄得污秽死了？”贾生说：“你说的有什么证据？”张某说：“象的背上都有钢盖下嵌，象的四脚都有小洞，点火烧烤一定会闻到骚臭气。”贾生用火烧烤，果然闻到了骚臭气。张某说：“秦代造阿房宫五步一楼，十步一阁，楼阁的门口都放上这个东西，象的脚就连通着暗沟。宫女要小便时，就揭起铜盖，解开裤子骑在象上撒尿。否则重重楼阁高耸云霄，宫内嫔妃众多如云，哪有这么多的尿器，只有用这个才方便啊。”贾生从此稍稍有些觉悟，把收藏的宝贝都看成粪土。
一天，贾生对张某说：“山洞中风景非常奇妙，和人世间景色迥然不同。可是楼阁虽然已经稍稍看了一眼，但是其中钟鼎摆设琳琅满目，必然又多又贵重，不知能否允许我这个俗人一饱眼福？”张某说：“这不难。让我们先喝点酒，然后和你再去游览一番。”刚刚喝了三盅，贾生就昏昏沉沉地想睡觉，张某忽然拉着他快步走去，说：“上次从正门进，后门出。现在正好边门开着，机不可失，为什么不快走，现在还来得及进去。”两人果然抵达一个地方，此时日色惨淡，道路也很狭窄，叉道很多。张某忽然遇到一个老朋友，叙谈了很久，告诉贾生说：“你暂且略微散散步，我跟着老朋友去去就来。”
张某走后，贾生孤孤单单地行走，走得越远，路越窄。偶尔一个失足，掉落在土坑中，很多鬼从地下钻出来，聚集在一起说：“姓贾的家伙来了吗？”它们带着贾生游历地狱，十八层地狱，俨然像吴道子所画的那样，分毫不差。贾生见到妻子蓝氏脖子上拖着罗带，舌头吐出嘴唇外二寸左右。丫鬟仆人被自己折磨死的也都踉跄着过来，齐声呼叫着，要讨还性命。贾生正处在危急的时候，忽然听到阎王召唤，鬼兵把他带进殿，俯伏在公案下。阎王略加审讯后，拍桌大骂说：“狗猪奴！外表风雅而内心刻薄，假装清洁而本质污秽，所谓狂妄、虚伪、卑鄙、俚俗、痴癫、放荡、迷惑的家伙，说的就是你！”说完就命令两旁牛头鬼兵押贾生到畜生道中投胎。
鬼兵驱赶着贾生到了一座小花园内，环境十分清雅，遍地都是芭蕉。茅屋矮小，仅仅像斗一样大小。屋内有一个红妆女子，用手捧住心口娇滴滴啼哭。贾生略略凝神，鬼兵从后面一推，贾生惊醒过来，此时身体已经变成小猪，和老母猪、众小猪一起卧倒在粪水中。耳畔听人喊：“母猪生了猪仔啦，共生了六胎。”贾生心中清醒明白过来，就用头撞墙壁，不停地狂叫。忽然听到耳边有人低声呼唤道：“醒醒！亮天白日的，大人就做噩梦吗？”贾生张开眼睛四处望望，身子还在座位上，客人张某和童儿已经消失不见了，只有他的儿子和有病的仆人守候在旁边。架上的小鹦鹉还是老样子，叫道：“端茶来，主人醒啦。”贾生于是流着泪告诉儿子梦中的经历，又派人到邻居家猪圈中去查看一番，果然有老母猪生下六仔，其中一仔生癫痫病很快就死了。所谓的芭蕉，只是庭院里的一畦白菜。贾生说：“地狱的门已经出现在眼前，为什么还不醒悟呢？”于是把家里事都交付给儿子，自己则长年吃素皈依佛门，每天诵读《金刚经》，哀哭呼号忏悔以往过错。
许桥迎娶恽氏为妻，恽氏美貌贤惠，堪称贤内助。生下两个儿子，都十分聪明伶俐。过了四年，家境逐渐好转。不久又在地下挖出了窖藏的金银，即用它做善事，建立种种功德，二十年善心始终不衰。贾生两个孙子参加乡试中举，金喜报报到门口，贾生还在捻珠诵经。和孙子同时中举的同年，都争相买来花草古玩献上，让贾生高兴。贾生都退还礼物不接受。这时贺客满堂，官绅云集，贾生忽然扶着拐杖走出堂来，呜咽着说：“我的幡然悔悟，你们儿孙辈才有今天，我不能忘记张公的恩德。我打算在离垢园内塑一尊张公像，让子孙供奉祭祀，你们都同意吗？”大家一起响亮答道同意。于是立刻招集工匠营建，很快就建成了。贾生有一次偶尔和孙儿辈扶乩请仙，张某忽然降临仙坛，和贾生叙说之前的旧交情。贾生请仙人告知尊姓大名，乩笔旋转写下三个大字：“张邋遢。”
