有個叫王勉字黽齋的人，家在靈山，很有才氣，考試總考第一。他心氣很高，善譏諷人，不少人都受過他的奚落。
這天他偶然遇到個道士，道士打量了他一番說：「你的相貌主大貴，可惜被你輕薄的缺點給抵消了。憑你的聰明才學，如果不讀書，去修道，還有可能成仙。」王勉譏笑說：「誰將來有多大的福，這是不可能知道的。我只知道世上並沒有什麼仙啊神的。」道士說：「你的見識怎麼這樣淺薄？仙人，不用找，我就是。」王勉更笑他荒唐。道士說：「我這個仙還沒什麼特別，你如隨我去，立刻能叫你見上幾十個真正的仙人。」王勉問：「去哪兒？」道士說：「近得很。」於是把拿的木杖夾在腿間，把另一頭交給王生，叫他學自己的樣子，囑咐他閉上眼，叫聲「起」，王生就覺得木杖忽然粗得像能盛五斗糧食的布袋，騰空飛起。王生悄悄一摸，一片片的鱗甲刺手，嚇壞了，動也不敢動。一會兒，道士又叫一聲「住」！就把木杖抽去，落到一所大宅院裡。
只見樓閣重重，像帝王家，有個丈把高的檯子，台上有座大殿，前後豎著十一根柱子，非常宏大華麗。道士拉他上去，就吩咐童子設宴，招待客人，殿內一下了擺了幾十桌筵席，那個闊氣，叫人眼花繚亂。道士換了好衣服等候。不多會兒，諸位客人從天上來了，騎龍的、跨風的、騎虎的，等等不一，還帶著樂器。有女有男，有赤腳的。內中有個美麗的婦人，騎綵鳳，宮中打扮，有童子替她抱著樂器。樂器五尺來長，不是琴，也不是瑟，叫不出名來。
酒宴開始，佳餚滿桌。王勉只覺吃起來又香又甜，一點也不像平常菜餚。王勉無言靜坐，只看那美婦，心中喜歡她，惟恐她一直不彈。酒飲得差不多了，一位老者倡議說：「多虧崔真人邀請，今天可算盛會，當然該飲個盡興。請大家以樂器分類，同一類的來個大合奏吧！」於是各自找伴兒配合，演奏起來。美妙的音樂響徹雲霄。唯有那騎綵鳳的，跟誰也搭不上伴兒。大家奏完，童子才打開樂器袋，擺到案子上。女的伸出白皙的手腕。像撥箏那樣，開始演奏。聲音比琴響亮得多。雄壯處使人胸懷開闊，柔婉處勾人魂魄。奏了半頓飯工夫，整個大殿裡靜得很，連個咳嗽的也沒有。曲終，「噹」的一聲收住，像鼓磐那樣清脆。眾人齊稱讚說：「雲和夫人真是絕技啊！」大家起身告別，一時龍吟，鳳鳴，都散了。道士安排了上等床鋪被褥，供王勉休息。
王勉見麗人時，已經心動，聽了她的音樂更加思念了。想想以自己的文才，做大官不難，那時要什麼沒有？……頃刻間心緒亂極了。道士好像知道了他的心事，說：「你前生與我一起學道，後來因意志不堅定，才墜入塵世。我不是勉強你，實在是想使你從惡濁的塵世中自拔；誰知你陷得太深了，懵裡懵懂的，喚不醒了。現在我就送你走，以後也不一定不能見面。但想做天仙，還得再受劫難才行。」於是就指著石階下一條長長的石頭，叫他閉上眼坐了，囑咐他不能睜眼看。說完，用鞭子把石頭一抽，石頭飛起來，王生耳邊呼呼有風，不知飛了多遠。忽然想，在天上看下界，是個什麼樣子；偷偷將眼睜開條細縫向下一看，見大海茫茫，無邊無際，嚇得趕緊閉眼，可是連石帶人已經掉下去了。彭！跟海鷗潛水似的，一下子扎進水裡，幸虧他過去住在海邊，會一點游泳。這時，便聽見有人拍巴掌，說：「這一跤摔得真美啊！」正危急間，一女子拉他上了船，並說：「好事兒，好事兒，秀才『中濕』啦！」王生一看，見這女子有十六七歲，很漂亮。王凍得打哆嗦，求她弄火烤烤。女子說：「跟我到家，就安排。以後如得意了，可別忘了我。」王生說：「什麼話！我是中原大才子，偶然這樣狼狽，以後該用一生來報答你，豈止是不忘！」
女子搖櫓划船，行駛如風，一會兒靠岸，在艙中拿出採來的一束蓮花，領他一起走。約走了半里路，進了個村莊。見有一朝南的紅漆大門，進去後又過了幾道門，女子先跑了進去。不久，出來一個四十來歲的男人，作揖請王生進屋。又吩咐傭人快拿衣帽鞋襪叫王生換了，然後，問起他的家世。王生說：「我不是說假話，我的才學還是有點知名度的，崔真人很喜歡我，邀請我去了天宮，我取功名做大官容易得很，所以不願隱居。」那男子肅然起敬，說：「這地方叫仙人島，與人世隔絕。我姓桓，叫文若，幾輩子住在這僻靜地方，沒想到有接近名士的榮幸。」便慇勤地設下宴席，又不緊不慢地說：「我有兩個女兒，大的叫芳雲，十六歲了，至今未遇見佳偶，打算叫她侍奉您，怎麼樣？」王勉以為一定是那個採蓮姑娘，趕緊站起來表示感謝。男子叫人在鄰居中請幾位德高望重的人來作陪，又讓僕人馬上去叫女兒。頃刻問，襲來一陣濃香，十幾個美女簇擁著芳雲出來了。明媚光艷，像朝霞中的蓮花，拜見了客人，坐下。十幾位美女中就有那個採蓮人。酒過三巡，又出來個十來歲的女孩，姿態俊秀，笑著偎在芳雲胳膊下邊，一雙水靈靈的大眼轉來轉去地看。桓文若說：「閨女家不在繡房裡，出來幹啥？」又對客人說：「這是綠雲，是我小女兒。挺聰明，能背《三墳》、《五典》呢！」就叫她對客人吟詩，綠雲即刻朗誦了三首「竹枝詞」，稚嫩宛轉的聲音很好聽。桓便叫她挨著姐姐坐下。又跟王生說：「像王郎這樣的大才，一定寫過很多好文章，能不能叫大家聽聽呀？」王勉痛快地背誦了一篇近體詩作，湧完自豪地左看右看。其中有這麼兩句：
「一身剩有鬚眉在，小飲能令塊磊消。」
鄰居老者再三地念誦。芳雲低聲告訴他說：「上句是孫悟空離火雲洞，下句是豬八戒過子母河呀。」說得滿座都鼓掌大笑。桓又請王生再誦別的，王勉又誦了一首水鳥詩：「瀦頭鳴格磔，」忽然想不起下句來了，他略一沉思，芳雲對妹妹嘰嘰咕咕地耳語了幾句，捂著嘴笑起來。綠雲對父親說：「姐姐給姐夫續上下句了，是狗腚響繃巴。」一席人都笑得閉不上嘴。王勉很不好意思。桓文若生氣地用眼睛瞪了下芳雲，王勉表情才平靜了些。桓又請王介紹自己的文章。王勉想，這些與世隔絕的人一定不懂八股文，就炫耀起自己應試得了第一名的一篇，題目是：「考哉閔子騫。」王勉文章破題的頭句說：「聖人讚大賢之孝……」綠雲看看父親，說：「聖人沒有讚美學生的，『孝哉……』一句應該是別人的話。」王勉聽了，情緒馬上低落下來。桓笑著說：「小孩子懂什麼！別挑剔這個，評評文采怎麼樣吧。」王勉又接著背誦，每誦幾句，姐妹倆就嘰嘰咕咕耳語，好像是些批評的話，只是咕咕噥噥聽不清。王勉念到得意處，連考官的評語也念出來了，有句評語是：「字字痛切。」綠雲對父親說：「姐姐說：該把『切』字刪去。」大家都不明白為什麼。桓文若怕她又說出叫王生難堪的話，不敢往下問。王勉把文章背完，又介紹考官的總評語。有這樣的句子：「羯鼓一撾，則萬花齊落。」芳雲又捂著嘴跟妹妹嘁喳，兩人笑得前仰後合。綠雲又對父親說：「姐姐說：『羯鼓應該撾四下』。」大家又不懂。綠雲想說，芳雲忍住笑嚇唬她：「妮子敢說，看不打死你！」眾人更不明白了，紛紛猜測是什麼話。綠雲忍不住，終於說：「刪去『切』字，說『痛』就『不通』；再敲四下鼓，鼓聲不是『不通不通』嗎？」眾人聽了大笑起來，桓文若生氣地斥責她們，趕快親自起身斟酒，陪不是。
王勉開始時還吹噓自己的才名，目中無人；到這時，再沒那麼神氣，只有淌汗的份兒了。桓文若又誇將了他兩句，想給他個機會讓他下台，說：「我剛想起一句，請你即席聯個下句：「『王子身邊，無有一點不似玉』。」大家還沒來得及想，綠雲應聲說道：「黽翁頭上，再著半夕即成龜。」芳雲失聲笑了出來，呵了手膈肢她。綠雲脫身跑掉，回頭看著姐姐說：「關你什麼事？你一遍遍地罵，別人才罵一句就不行了？」桓文若喝斥她，她才笑著走了。
鄰居老人告辭。婢女們領王勉夫妻進內室休息。內室裡屏風床鋪，陳設精美齊全，燈燭照耀。再看洞房裡，滿架子的函套，什麼書都有。問她個生僻的問題，她沒有答不上的。到這時候，王勉才覺出自己學問差遠了，應該知羞才是。芳雲喊「明璫」，採蓮女就小跑過來，這才知道她的名字。剛才被挖苦得夠嗆，唯恐妻子瞧不起自己；幸好芳雲雖然嘴厲害，對丈夫還是極盡溫柔，王勉也就安下心來。沒事兒就吟幾句詩文，芳雲說：「我有句忠言，不知你聽得進聽不進。」王問：「什麼忠言？」芳雲說：「從此別作詩，也是個掩飾短處的辦法。」王勉一聽，慚愧得很，就不再寫文章。
日子長了，王勉和明璫漸漸親暱，對芳雲說：「明璫對我有救命之恩，希望你對她好些。」芳雲立刻同意了。有時夫妻在臥室中玩耍，也叫上明璫一塊兒。兩人感情更深了，慢慢就發展到使眼色，打手勢進行暗示的程度。芳雲覺察出來，責備王勉，他唯唯地聽著，好歹混過去了。
這天晚上，王勉與芳雲對吟，覺得寂寞，建議把明璫喊來，芳雲不許。王勉說：「您讀了那麼多書，怎麼不記得『獨樂樂』幾句？」芳雲說：「我說你不通，這不更證明了。連句讀也不懂啊？『獨要，乃樂於人要；問樂，孰要乎？曰：不』。」夫妻一笑而罷。
碰巧芳雲姐妹去鄰女那兒赴約，王勉得了空兒，趕緊叫來明璫，盡情歡娛了一番。當天晚上，王勉就覺得小肚子痛，痛過後，生殖器全縮回去了。嚇得告訴了芳雲，芳雲笑了，說：「一定是報了明璫的恩了！」王不敢隱瞞，實說了。芳雲說：「自找的禍，我實在沒辦法，不痛不癢的，隨它去。」幾天不愈，王勉心中鬱悶，芳雲知道，也不問，只是用明亮的眼睛看他。王勉說：「你正應了一句古話：『胸中正，則眸子瞭焉』」。芳雲笑笑說；「你也應了一句話：『胸中不正，則瞭子眸焉。』」原來「沒」的方音讀如「眸」，故意用這話開他的玩笑。王勉也笑了，向芳雲哀求治療的辦法。芳雲說：「你不聽忠告，在這以前，還可能懷疑我忌妒呢。你不知道，這婢女本來不可親近，過去我說那些，實因為是愛你，可你……當成了耳旁風，我才故意不可憐你。唉，沒辦法，給你治吧。可醫生必須觀察觀察。」就把手伸進他衣服裡，口中念道：「黃鳥黃鳥，無止於楚！」王勉聽他說得有趣，不覺大笑，笑過病就好了。
過了幾個月，王勉因雙親年老，孩子年幼，常苦苦思念，將這個告訴了芳雲。芳雲說：「想回家不難，可是再見面就不知哪天了。」王勉聽了，淚流滿面，求芳雲與自己一起走。芳雲考慮再三，才答應了。桓翁設宴為他們餞行。綠雲提了個籃子進來說：「姐姐要遠遠地離開我們了，沒什麼可送，怕你到了海上沒地方住，連夜替你造了房子，可別嫌粗糙。」芳雲施禮接受了，湊近看是些用細草製成的樓閣，小的有橙子那麼大，大的像桔子。大約有二十多座，每座的梁棟椽檁，根根清楚，裡面的床帳桌倚，芝麻粒兒大小。王勉以為是小孩子玩藝兒，可心裡也歎服她的手巧。芳雲說：「實告訴你吧，我們是地仙，因為與你有緣份才嫁了你。本來我不願與你同去凡塵，僅為你老父親在，不忍違背你的意思。等老父親百年後，還得再回來。」王勉恭敬地答應著。桓翁問：「從水路走，從旱路走？」王勉受過水上風險，表示願從旱路走。出了門，車馬已等在那裡了。
告辭了桓翁一家登上歸程。馬行迅疾，很快到了海岸邊，王勉正愁無路可走，芳雲拿出一匹白綢子，向南一抖，立刻變成了一帶長堤，一丈多寬，轉瞬問就過去了，長堤也慢慢收了起來。又到一處，有一片無邊無際的潮水。芳雲止住車馬不讓再走，下了車，取出籃子中用草做成的房舍，同明璫等婢女按一定佈局擺好，轉眼間變成一處大宅院。一齊進去卸下行裝，跟島上的房邸並無兩樣，連同房屋的桌呀、床啊也和原來一樣。這時，天色已晚，就住下了。
次日早晨，叫王勉把父母接來贍養。王勉打發人騎馬到老家，到了才知道家中宅屋已經換了主人；問鄰里，說是他母親和兒子都早死了，只有老父親還活著。王勉的兒子愛賭博，家產全輸光了，爺爺孫子連住的地方都沒有，臨時借宿在西村。
王勉剛回來時，還想取功名，所以不把家境放在心上，直到瞭解了這些情況才非常難過地想，富貴縱然好，可是跟夢中之花有什麼區別？騎馬到了西村，見老父親穿得又髒又破，衰老得可憐。父子都失聲痛哭，問起他那個沒出息的兒子，說是出去賭沒回來。王勉就用馬接了父親回來。芳雲拜了公爹，燒了水請老人洗澡。送來綢緞衣服，讓他住在熏了香的臥室裡。又送信請來了公爹的老友陪他說話，老人的生活超過了名門大家。
一天，王勉的兒子找來了，王勉不讓他進家門，只給了二十兩銀子。叫人告訴他：「用這些錢娶個媳婦過日子吧。再敢來，用鞭子打死！」兒子哭著走了。
王勉自從回了老家，不大與別人來往，可是老朋友偶然來到，一定款留幾天，說話比原來謙虛多了。其中獨有個黃子介，是老同學，也是個不及第的名士，王勉留他住了好多天。還常說些秘密話，送的錢物也多。住了三四年，王老頭去世，王勉花一萬兩銀子請人看塋地，厚禮葬了。這時，兒子已成了家，媳婦管得嚴，兒子賭博也少了，在爺爺的喪事上，兒媳才拜見了公婆。芳雲一見，斷定她能操家，又賜三百兩銀子作為買田產的資本。
第二天，黃子介帶了王勉的兒子一同去拜謁，王勉住的房舍院落都已消失，不知他們到哪裡去了。