唐朝时期，礼泉县有个叫杨向铭的年轻商人，他正直内敛，善良忠厚，经常施舍穷苦百姓，当地百姓感念他的恩德，都称呼他“杨大善人”。其实杨向铭也是一个苦命人，他十岁时失去父亲，家中生意因此被族中长辈霸占，母亲依靠给别人洗衣，辛苦将杨向铭和他的弟弟杨景潭拉扯成人。
杨向铭长大后，为了抢回自家产业，与族中长辈斗智斗勇，他有好几次差点失去生命，经过他的不懈努力，他最终夺回了自家产业。那时杨向铭已经二十五岁，比他小四岁的弟弟早已娶妻生子，他仍是孤身一人。
杨向铭夺回自家产业后，一家人过上了呼奴唤婢、穿金戴银的幸福生活，杨向铭了了一桩心事，就将自己的婚事提上日程。
杨向铭与母亲挑来选去，最终选中了一个叫桂香的女子。桂香年方十八，是城北一位富商的千金，她生得花容月貌，性格温柔，待人真诚，杨向铭与母亲非常喜欢她，便去了桂香家中提亲。桂香的父母十分欣赏年轻有为的杨向铭，果断同意了这门婚事，两家人因此订下婚期。
一个月后，杨向铭将桂香娶进了门，两人成婚后夫妻恩爱和睦，日子过得蜜里调油一般。杨向铭与桂香成婚的第三个月，因要去外地谈一桩生意，杨向铭便离开妻子，启程去了外地。
杨向铭在外地忙了一个多月，总算谈成了那桩生意，他给母亲、妻子和弟弟一家都买了礼物，高高兴兴地回了家，不料他回家以后，却得知妻子因急病去世的消息。杨向铭回到家时，妻子的尸身已经被封进棺材，他连妻子最后一面都没有见到。
杨向铭失去妻子伤心欲绝，他跪在棺材前哭得几乎晕过去，弟弟杨景潭见状，慌忙上前安慰杨向铭。杨向铭在弟弟的劝说下，强忍伤痛，含泪将妻子妥善安葬。
妻子去世后，杨向铭一直沉浸在失去妻子的痛苦中，他因此无心料理家中生意，便将生意都交给杨景潭打理，自己每天去坟地给亡妻烧纸。桂香去世的第七天，杨向铭又来到桂香坟前烧纸，他坐在桂香的墓碑前，不停诉说着对桂香的思念。
那日天气不好，杨向铭刚在桂香坟前待了一会儿，天空忽然下起大雨，杨向铭没带雨具，便跑进不远处的一座破庙避雨，不料他因此遇到一件怪事。
杨向铭在破庙避雨的时候，意外听到一个女人的声音：“杨向铭真是可怜，他的妻子桂香怀着身孕被人害死，他却被蒙在鼓里。”
杨向铭听到那个女人的声音，顿时吓了一跳，他进破庙之前仔细检查过，这座破庙除了他没有别人，为何屋里会有人说话的声音？杨向铭还没反应过来怎么回事，就听到另一个女人的声音响起：“杨景潭真是狠心，他为了和杨向铭争夺家产，竟然害死身怀有孕的嫂子，简直禽兽不如！”
杨向铭听见那两个女人谈的事情与自己有关，强忍着没有出声，他顺着声音传来的方向看去，发现破庙的房梁上站着两只黄鹂，竟是那两只黄鹂在说话。那两只黄鹂以为杨向铭听不见它们的谈话，仍旧讨论着杨景潭害死桂香的事情，杨向铭竖起耳朵听了半天，才明白事情始末。
原来杨景潭一直想将杨家的家产据为己有，他表面上装得与世无争，却在暗中收买人手，想要架空杨向铭。杨向铭外出谈生意的时候，桂香发现自己有了身孕，杨景潭很快就知道了这个消息，他担心桂香生下孩子后，会多一个人与自己争家产，就暗中害死桂香，并谎称桂香因急病去世。
杨景潭之所以这样做，是因为他知道杨向铭对桂香感情深厚，只要桂香死了，杨向铭就会无心料理家中生意，自己便可以趁机接手家中生意，将杨家的所有家产变成自己的。
杨向铭听那两只黄鹂讨论了半天，心中却有些不太相信，他不相信自己一直疼爱的弟弟会算计自己，更不相信弟弟会害死自己的妻子。杨向铭为了查明真相，立刻跑到妻子坟前，徒手挖开了妻子的坟，可他打开棺材以后，看到妻子的尸身却愣住了。
当时雨已经停了，杨向铭挖开妻子的坟以后，径直打开棺材，可他打开棺材后，才发现妻子脸色青紫，脖子上有一道紫黑色的勒痕，妻子那模样分明是被人勒死的。杨向铭为了验证桂香是否怀孕，又请来仵作查验，最终查明桂香死时已有两个月的身孕。
杨向铭得知桂香死亡的真正原因后，心中气愤不已，他立刻找到杨景潭质问：“你是我的亲弟弟，我待你不薄，你若是想要家产，直接告诉我就是了，我可以让给你，你为何非要害死我的妻子和儿子？”
杨景潭知道自己做的恶事被哥哥发现，他毫不犹豫地承认了这件事，并愤恨地看着杨向铭说道：“我真希望没有你这样的哥哥！如果没有你，我也不会被人看不起！”
原来杨向铭太过能干，杨景潭与杨向铭相比，就显得十分平庸，很多人因此看不上杨景潭，连妻子胡氏都看不起杨景潭。胡氏经常对杨景潭说：“如今婆婆健在，你哥哥才未与我们分家，还会施舍给我们一些银钱，将来婆婆去世，你哥哥肯定会霸占所有家产，我们什么都得不到。你靠着你的哥哥活了几十年，一直被人看不起，你不去争抢，难道想要我们的孩子也被人看不起吗？”
杨景潭在胡氏的挑唆下，才有了与哥哥争夺家产的想法。杨景潭买通了哥哥和嫂子院中的下人，因此哥哥和嫂子的一举一动，杨景潭都知道得一清二楚。杨景潭知道嫂子怀孕的消息后，在杨向铭回家之前勒死嫂子，又用最快的速度买来棺材，直接将嫂子的尸身封在棺材里，他本将这件事瞒得滴水不漏，不料杨向铭还是查出了真相。
杨景潭说出了自己害死桂香的经过，面上却没有任何悔意，杨向铭对杨景潭失望不已，他直接将杨景潭送去了官府。官老爷查明真相后，杨景潭被判了秋后问斩，他最终为自己的恶行付出了代价。
杨景潭死后，胡氏担心杨向铭迁怒自己，带着孩子回了娘家，此后她再也没有回过杨家。这件过去后，杨向铭专心打理家中生意，仔细孝顺母亲，他还时常去桂香坟前祭拜，只是他再也没有娶妻，而他也没有再见过那两只黄鹂鸟。