故事背景出自清代嘉定宝山文人毛大瀛写过的一本《戏鸥居词话》：六娘本名陈湘萍，为名门之女，自幼与近邻王初桐青梅竹马。后陈父母嫌王家贫，将六娘许给一富家纨绔子。自此王初桐发奋攻读，多次参加乡试，无奈屡试不中。后来清廷平小金川之乱，皇帝特开科招试，年四十八的王初桐一举中士，名列二等。

2.中士之后，王初桐被授予四库群书馆的眷录官，后又在山东为官，继任宁海州同知。在其为官期间政简刑清，颇得民心。后在济南任上，深受山东巡抚伊江阿赏识，大学士阮元称他为“江左人才渊第一，济南名师更无双”。此时，王初桐已成家，夫人贤惠，但因其心中长念六娘，故与夫人情淡意薄。
3.嘉庆四年，王初桐致仕还乡，隐居方泰，著书立说。再说六娘，因丈夫放浪无检，很快把家产挥霍殆尽。无奈之下，六娘只得屈身于“勾栏”（古时杂技演艺场），卖唱卖笑不卖身，再后来就成卖身不卖艺。数年之后，有些许积蓄，她便离开烟花之地，独居槎水（即槎溪，南翔镇别名）边，读书看景，清静自在。

4.当时方泰与南翔相距不远，一次，王初桐行舟于槎水之上，忽闻熟悉的琴声（六娘自小便弹的一手好参（shen）琴），即命船夫靠岸入河浜（bang）屋内，果不然是六娘。两人见面一番苦诉之后，免不了唏嘘不已。至此，六娘仍孑然一身，而王初桐早已儿女成群，两人再结夫妻已无可能，于是两人便以兄妹相称。

5.自此之后王便暗中资助六娘银两，常来常往，谈文论诗，对闲人议论全不在乎。六娘为报答王初桐的厚恩，自画一幅像赠与王，画上写有“天寒翠袖薄，日暮倚修竹”的题词。此为唐诗人杜甫《佳人》的诗句，意指佳人孤高、绝世独立的意思。王初桐在上面署上四字--“绝代佳人”，成为一幅珠联璧合之作。

6.当时嘉定的文人圈中，有许多人都看到这幅画，有同情者纷纷在上面作诗题词，其中没有一句指责初桐和六娘。这幅画一直流传到京师。京师也有许多文人雅士看到过这幅画，他们都为六娘的美貌和才华倾倒，也为王、陈的这场爱情悲剧唏嘘。