当潘金莲和武大郎在张大户家中居住的时候，潘金莲就看不起武大。不但是因为武大郎身材矮小，皮肤粗糙，最主要的还是武大郎没有男人应该有的骨气。世上也尽有矮小的人，可是矮小的躯体中未必不能有豪迈雄健的灵魂。可是，明明潘金莲已经正式过门，成为武大郎的妻子了，当张大户前来找寻旧爱，和潘金莲厮混的时候，武大郎屁也不敢放一个。武大郎怎么想的呢？“这原是他的行货！”潘金莲原本就是张大户的东西，现在不过是暂时寄存在自己这里，随时还是要使用的。于是，武大郎每天担着炊饼担子出门，前脚刚出去，张大户后脚就进来，武大郎明明看到了也不出声。就算是炊饼卖完了，也好看看张大户走了再回家。忍让到了如此地步，也难怪潘金莲会看不起。
潘金莲曾经多次抱怨张大户：“普天世界断生了男子，何故将我嫁与这样个货！每日牵着不走，打着倒退的，只是一味吃酒，着紧处却是锥钯也不动。奴端的悄世里悔气，却嫁了他！是好苦也！”对武大郎的懦弱无能非常鄙视。
当然，武大郎也有武大郎的难处，张大户财大势大，而自己不过是个小民，何况已经得到了美女潘金莲，一定绿帽子又不会压死人。可是潘金莲想法就不一样了。虽然潘金莲和张大户有一腿，可是潘金莲并不以为丢脸，因为这么做武大郎是默许的。何况张大户隔三差五的就会给潘金莲许多金银，武大郎也需要这些金银，于是，潘金莲不但没有因为红杏出墙而受到武大歧视、责打，反而在家里说一不二，高高在上。
等到张大户死后，潘金莲一家来到了紫石街。应该说，这段时间，潘金莲还算是比较安分，并没有背着武大郎和别的男人勾勾搭搭。潘金莲并非一开始就是个淫妇。当初和张大户之间有染，那是历史遗留问题，早在和武大郎结婚之前就已经有了，并不能够责怪潘金莲。