孙麒公子是洛阳人，娶蒋知府的女儿为妻，夫妻感情很好。可惜蒋氏二十岁就夭亡了。孙麒忍受不了这悲痛的打击，离开家，住进山中的一所别墅里。
正值一个阴雨天，他白天在屋里躺着休息，室内没有别人。他忽然看见里屋的门帘下边露出一双女人的小脚，奇怪地问她是谁。有个小女子掀帘进来，有十八九岁，衣服朴素整洁，只是微黑的脸上有好多麻子，好像是个贫家姑娘。心想一定是村子里来租房子的，就呵斥她说：“要用房子应该先跟我家人说一声，怎么能随便闯进屋里来？”女微笑着说：“我不是村中人。我祖居山东，姓吕，父亲是读书人。我小名无病。跟着父亲迁居他乡，父母早亡，因敬慕公子是世家名士，愿意作一个侍奉你读书的婢女。”孙笑着说：“你的想法很好。但是和女仆杂居不方便，等我回家后，派车把你聘来。”女子踌躇地说：“我自知貌丑才疏，怎敢和公子平起平坐？如果让我在书案前听你驱使，想必我不至于倒拿书册的。”孙说：“收纳婢女也要选个吉日啊！”就指着书架，叫她将历书第四卷拿来，原来是想试试她。女找到书翻看了一下，而后笑着捧给孙说：“今天凶神河魁不在室内。”孙麒有些心动，便把她藏在屋里。她闲着没事，替孙麒抹桌子整理书籍，点起檀香，擦净香炉。把书房收拾得光洁照人，窗明几净。孙麒对此很高兴。
到了晚上，孙打发仆人住到别处，女子低眼垂目，百般柔媚，殷勤地侍候孙麒。孙叫她去睡觉，才端着蜡烛走了。到半夜孙麒睡醒，觉察床头躺着一个人，用手一摸，知道是吕无病。便把她摇醒。无病惊醒后，起身站在床前。孙说：“为什么不睡到别的房间去，床头是你睡觉的地方吗？”女说：“我害怕。”孙可怜她，就给她放个枕头在床上，让她靠床里边睡下。忽然闻到呼息的热浪慢慢扑来，气味清雅得像荷花一样。孙很奇怪，就叫她过来睡在一个枕头上，禁不住心神荡漾起来，渐渐地睡到了一个被窝里了，心中感到无比幸福。孙麒想把吕无病长期藏到屋里不是长远之计，又怕带回去遭到非议。孙麒有个姨妈，离别墅只隔十多户人家，和无病商量，叫她先躲到姨妈家，然后再将她娶过来。无病认为这样办很好，就说：“你姨妈和我很熟，不用先去打招呼了，我现在就去。”孙麒送她，她就翻墙走了。
孙麒的姨妈，是个守寡的老太太。早晨打开大门，吕无病闪身而入。姨妈问她是谁。无病回答：“你的外甥叫我来看望你。公子打算回家去住，因为路远车马不够，就让我暂时寄住一些日子。”姨妈相信了她的话。于是她就住下了。孙麒回到家里，骗家人说姨妈家有个丫鬟，愿意送给他，就派人用轿子把她抬回来。来到孙家，无病则陪着孙麒吃饭睡觉。日子长了，孙更加喜欢她了，便收她作小老婆，世家大族来给他提亲，他不答应，似乎有和无病白头偕老的意思。无病听说他的想法后，苦苦劝他另娶一房正妻，孙同意了，就娶了一个姓许的姑娘，但他始终宠爱无病。许姑娘非常贤惠，从来不计较孙在谁的房中过夜。无病对许氏也更恭敬，妻妾间关系非常和睦。许氏生了个儿子，取名阿坚，无病常常抱着他，像自己生的一样。阿坚才三岁，就离开奶妈跟无病睡，许氏叫她，他也不肯走。不久，许氏害病死了。临终前嘱咐孙说：“无病最疼阿坚，让阿坚当她的儿子也行，你把无病扶正作夫人也行。”下葬后，孙打算按许氏的遗言将无病立为正妻。把这个想法告诉了本家，大家认为不合适。无病也坚决推辞，就将此事搁置一边。
本地王尚书有个女儿，新近守寡，王家派人来求婚。孙麒根本不打算再娶，王家再三要求。媒人说王女长得如何漂亮，孙家又仰慕王尚书家的权势，一起怂恿孙麒答应这门亲事。孙被说动了，又娶了王氏。王氏长得确实漂亮，但也骄横到极点，对衣服用具百般挑剔，动辄砸毁丢掉。孙因为喜欢她美貌，不忍心惹她生气。过门几个月，每天晚上都让孙睡在她的房中。每当无病来到她面前，哭笑都得罪她。还不时把怒火发到孙麒身上，屡次和孙打闹。孙感到妻子使他头痛但又没办法整治，所以常常一个人睡。妻子又生气，孙忍受不了，找个借口去了京城，逃避妻子带来的灾难。
王氏因丈夫远游京城，迁怒于无病身上。无病在王氏面前弓背弯腰，大气不敢出，看着她的脸色行事，可是始终不能使王氏欢心。夜里叫无病睡在床下侍候她，儿子阿坚跑来和无病一起睡在床下。每当无病被叫起来侍候她时，阿坚就要啼哭。王氏讨厌孩子啼哭，骂不绝口，无病急忙叫奶妈把孩子抱走，阿坚不去。强抱他走，哭得更厉害了。王氏怒气冲冲地起来，把阿坚毒打了不知多少下，他才跟奶妈走了。阿坚从此得了惊悸的毛病，吃不下饭。王氏禁止无病去看孩子，阿坚整天啼哭，王氏责骂奶妈，叫奶妈把阿坚丢在地上。孩子哭得力竭声嘶，喊着要喝水，王氏不让给阿坚喂水。到了晚上，无病看王氏暂时离开，偷偷进去给阿坚喂水。阿坚见了无病水也不喝了，抓住无病的衣襟号哭。王氏听见了，气势汹汹地出来，阿坚听到王氏的声音，吓得猛然憋住哭声，全身一阵抽搐便断了气。无病放声大哭。王氏怒喊道：“一幅卑贱丫鬟的丑样子，难道想用小孩子的死威胁我吗？别说死了孙家一个吃奶小孩，就是杀了王府世子，我王尚书的女儿也担待得起。”无病抽泣忍住哭声，要求给阿坚一口棺材，王氏不许，命家人马上把孩子尸体扔出去。
王氏走后，无病偷偷摸了阿坚一下，四肢还有些热气。便低声对奶妈说：“快把孩子抱走，在野外少等一会儿，我马上就到。孩子死了，我们一起把他丢了；活着，我们共同抚养他。”奶妈说：“行。”无病回到房里，取出金簪、耳环等首饰，追上奶妈。两人一看阿坚，已经苏醒过来。二人非常高兴，商量到别墅去找孙麒的姨妈，奶妈担心自己小脚走不动路，无病就先跑到前面去等她，无病行走如飞，奶妈极力奔跑才能赶上。大约二更时分，阿坚病情加重，不能再往前走了。便从小道走进一个村子，到一个农夫家，守着门等天亮，敲开门借房子住，卖掉了几件首饰，请来巫婆和医生给阿坚治病。但病仍然不见好。无病掩面痛哭对奶妈说：“请奶妈好好看护阿坚，我去找他父亲。”奶妈正觉得她的想法太荒唐，可是转眼间无病已无影无踪了。奶妈惊诧得目瞪口呆。
这天，住在京都的孙麒正躺在床上休息，无病悄悄地走进来。孙麒猛然一惊，说：“难道我刚刚躺下，就做梦了吗？”无病抓住她的手不停地抽泣，顿着脚说不出话来。过了很长时间，才失声痛哭着说：“我历尽千辛万苦，带阿坚逃到杨——”话没说完，便放声大哭，倒在地上不见了。孙吓坏了，还怀疑是梦。叫来仆人一看，无病的衣服鞋袜都放在地上，都感到无法解释。即刻整理行装，星夜飞驰回家。听说儿子死去而无病逃走的惨讯后，孙麒捶胸痛哭。说话间触犯了王氏，王氏不但不承认过失，还对孙反唇相讥，孙麒非常气愤，拿出刀要和她拼命，丫鬟婢女拼命拦住，不让他靠近王氏，孙远远地掷刀打王氏，背碰到王氏的额头，额头破了，血流满面，披头散发嚎叫着出门，将要跑回娘家去告状。孙抓住她拉了回来，用捧子狠狠地打了一顿，衣服都打成一缕缕的碎布条，伤口痛得不能翻身。孙让家人把她抬回房中守住，等伤养好后把她休了。王氏的哥哥和弟弟听到消息后，怒气冲天，率很多骑马的家丁到孙家门前叫骂，孙麒也集合家丁手执兵器防御。双方叫骂了一天才散去。王家兄弟觉得未出这口恶气，到官府告孙的状。孙也带着家丁护卫主动到官府对质，控诉王氏的恶劣行径。县令没办法使孙屈服，就把孙麒送学宫教官处去处置，以此讨好王尚书。没想到教官朱先生，是个世家子弟，为人刚直方正，不攀附权贵，查明案情后，愤怒地说：“县令老爷把我当作是卑鄙肮脏的教官和勒索伤天害理的钱财来舔上司屁股的下贱人吗？这种乞丐相，我不能作出来。”于是不按县令的要求处理孙麒。孙公然返回家中。王家没办法，便示意亲友，出面为两家调停，要孙麒到王家陪礼，孙不肯，来往十多次没结果。王氏的伤渐渐地平复了，孙想把她休了，又怕王家不接受，只好耐心地拖下去。
无病逃走，儿子死了，孙日夜伤心不已，想找到奶妈问个明白。于是想起当初无病说“逃于杨”的话，附近有个杨家瞳，怀疑她在那里，到杨家疃一问，没有人知道。有个人说五十里外有个杨谷，派家人骑马去打听消息，果然找到了。原来阿坚并没死，渐渐康复了，家人和奶妈、阿坚相见，都非常高兴，一起回到家里。阿坚看见父亲，嗷嗷地大哭起来，孙也潸然泪下。王氏听说阿坚还活着，气势汹汹地跑了出来，就要讽刺谩骂。孩子正在哭，睁开眼看见是王氏，吓得扑到父亲怀里，好像是请求父亲把他藏起来。孙麒抱起一看，孩子又断了气。急忙大声喊他，过了一会儿才苏醒过来。孙愤怒地说：“不知你如何残酷地虐待孩子，居然把我儿吓成这样！”就马上立下离婚书，送王氏回娘家。王家又果然不接受，又用轿子把她抬回孙家。孙不得已，就带着儿子住在另一个院里，不和王氏来往。奶妈又详细地叙述无病当时的奇异情状，孙麒才省悟无病原来是鬼。他被无病的情义所感动，安葬了无病的衣物鞋袜，竖一碑，上刻“鬼妻吕无病之墓”。没过多久，王氏生一男孩，王氏用两手卡住小儿的脖子将孩子活活掐死。孙麒更气愤了，又把她休回娘家，王家用轿子抬回孙家。孙麒便写了状纸告到上级官府，都因王父是个尚书的缘故置之不理。后来王尚书死了，孙不停地上告，才判王氏离婚回娘家。孙麒从此不再娶妻，纳丫鬟为小老婆。
王氏回到娘家后，凶悍刁蛮的名声在外，过了三四年也没人上门提亲。王氏顿时悔悟，但已无法再挽回。有个孙家过去的老女仆，正巧来到王家，王氏殷勤地接待了她，当着老女仆的面哭了。女仆猜测她的心情，像是怀念孙麒。老女仆回去告诉了孙，孙一笑置之。又过了一年多，王氏的母亲也死了，孤苦无依，嫂子弟媳都非常憎恶她。她更觉无路可走，每天都暗暗哭泣。有一个穷书生死了妻子，王氏的哥哥想要多送些嫁妆把她嫁出去，王氏不愿意。常常私下里托人向孙麒致意，哭着说她多么后悔，孙麒不理。一天，王氏带着千个丫鬟，偷条驴骑着，直接奔到孙家。孙正好从里面往外走，她跪在台阶下，不停地哭。孙想把她赶走。王氏就拉着孙的衣襟跪在面前。孙麒坚决地拒绝她说：“如果再生活到一块，平时没有什么矛盾还好说话，一旦有了矛盾，你兄弟像虎狼一样，再想离婚，还能办到吗？”王说：“我偷着跑回来，万万没有再回娘家的可能，你若留我，那就留下；如果不留，我就去死。况且我二十一岁嫁给你，二十三岁被休回，纵然有十分的过错，难道没有一分情义吗？”说完就从手腕上脱下一只金手钏，把两只脚尖并在一起，用金钏套上，用衣袖盖在上面，说：“成亲时对着香火发誓的情形，难道一点也记不起来了？”孙也泪光闪闪，让人把王氏扶进屋里。孙还怀疑王氏骗他，想叫她兄弟当众话作证。王氏说：“我私自从家出来，有什么脸面再求兄弟？如此还不相信，我自杀的用具在，让我砍下一个指头表明悔改决心。”便从腰里抽出一把刀，靠床沿伸出左手砍断一个指头，血像泉水一样流出来。孙麒大惊，急忙给她包扎。王氏痛得变了脸色，但没呻吟一声。笑着说：“现在我已从黄粱梦中醒来，特地借你的斗室让我带发修行，何必对我这么不放心呢？”孙麒便叫孩子和小妾另住一间，而自己早晚往来于两边。又每天访求良医好药为王氏治疗手伤。过一个多月就好了。
王氏从此不吃荤菜，不饮酒，整天关门念诵佛经。时间长了，看到家庭的管理不善，便对孙说：“我这次回来，本想不过问家里的一切事情，现在看到目前这些花销，恐怕子孙有饿死的。没办法，只好再厚着脸皮替你经营一番。”于是召集奴仆丫鬟，按日督促纺织。有的家人见她求告主人才回来，轻视她，暗中还讥笑，王氏只当没听见。照样对家政严加管理，对偷懒的责罚鞭打，毫不留情，众仆才开始怕她。她又隔着帘子监督管家算帐，把帐目清理得精密入微。孙麒于是很高兴，让儿子和小妾每天朝见请安。这时阿坚已九岁，王氏加倍体贴照顾他，每天早晨入私塾去读书，王氏就留些糖果点心等他回来吃，阿坚也渐渐和她亲近了。一天阿坚用石头打麻雀，正赶上王氏经过，石头打中了她头，当时就倒在了地上，半天说不出话。孙大怒，把阿坚打了一顿，王氏苏醒后，竭力劝孙不要打孩子。很不高兴地说：“我过去虐待阿坚，心里一直放不下这件事，幸好今天抵消一宗罪。”孙更加宠爱王氏。王氏常常拒绝孙麒，让他去和小老婆睡。过了几年，王氏生几个孩子，死几个，说：“这都是我过去杀死孩子的报应。”阿坚娶妻后，她便把对外的事情交给儿子，家里的事情委托儿媳。一天她说：“我某一天要死了。”孙麒不信，王氏准备了寿衣和棺木，到了那天，她换上寿衣躺在棺材里死了。脸色和活着时一样，奇异的香味充满内室，入殓后，香气才慢慢消失。
异史氏说：“心中所爱，原来不在于容貌是否漂亮。绝代美人毛嫱、西施；怎知不是因爱她们的人对她们的称美呢？吕无病如果不被悍妇忌妒，她的贤德就不会显出来，孙麒几乎会叫人笑话他有喜好丑女的怪癖。至于王氏出身高贵，根基本就深厚，所以豁然醒悟后，马上修成正果。像那些沉沦于地狱的人，都是享尽富贵而没经历过艰难的人。”
