另外有一种说法，王子韶岳父沈扶闲居杭州时，曾向祖无择借私兵修住宅，被祖无择拒绝，让王子韶怀恨在心，正好他下去查苗振贪污案，又隐隐得知王安石对祖无择不满，于是顺带着坑了祖无择。因为他在疏奏上说得严重。于是王安石命沈衡写诏令，将祖无择从秀州抓捕，逮捕到京城让张载审问。但王安石原本却没有暗讽有司坑祖无择之心，而是同样被王子韶坑了。
“恩师。祖无择所犯何罪？”王巨听到后问张载。
这不是禁中事，王巨能问。
张载答道：“据说祖无择将公使酒赠于亲友。”
按照规订宋朝公使库的钱与酒是专门用于罢免转任官员往来的招待费用，但不得用于私下场合。事实后来祖无择也承认动用了三百瓶酒赠给了亲友。
另外乘船过制，超过了他应得的标准。私自挪用了官钱借贷，听从了下属官员任造、王景、钱羔羊、张应岩的非法要求。
这几条祖无择后来也承认了。乘船过制乃是他马虎没有注意，挪用官钱借贷，数量不多，下属官员的非法要求，但不是太过份，他才同意的。
另外就是与官妓薛希涛私通，按照规订，官员可以让官妓歌舞佐酒，得不得私侍枕席，这一条祖无择没有承认了。于是后来又将这个官妓捉来，活活笞死，薛希涛也没有承认。然而王巨怀疑可能有，因为薛希涛对祖无择有感情，拼死保住了祖无择的名声。
最后就是祖无择给致仕官名臣张先送礼，同时大兴土木修亭台楼阁，却没有付材料费与工钱。后来审问，它也是事实，尽管郑獬营救时说只是小事，也就是王子韶并没有完全捕风捉影。
但这件事马上就引起了争议。先是张载弟弟张戬与苏颂、陈襄、郑狰上书，说祖无择是士大夫，并且曾经是皇帝身边的近臣，不是军器监里面的那些恩荫混混官。抓捕下狱，非朝廷以养廉耻以风厉下臣之意，应当免其刑狱，就地责问。
苏郑又说祖无择有的罪行不明，有的罪行不严重，以前有许多官员贪墨数量远超过了祖无择。但也没有遭到抓捕下狱讯问的待遇。
郑獬又说祖无择未下狱前，客舍僧寺，随行惟一仆一指使，钱帛用尽，于是用随身银唾壶质钱，民不敢质，只好向和尚借数百钱，以供朝夕。而且祖无择治杭颇有政绩，怜者为之具馔，狱者见之号泣，下狱后杭州士大夫与庶民相率浮图设斋，为之祈福。
陈襄又说杭州为巨府，素来难治，前后守臣多暴刻绳民，惟祖无择之治，百姓安之。
王巨不大相信，王巨一次没有去过杭州，但竹纸坊在杭州，等于他的小半根基就在杭州，因此听到杭州的许多消息，若论暴刻，在祖无择之前倒是有一人，那就是欧阳修推荐的孙沔，孙沔过后则是何中立、梅挚、唐询、施昌言、沈遘、王琪、蔡襄、胡宿，这才到祖无择，然后是郑獬。
这中间不泛名臣，就是施昌言名声略差一点，但在杭州施政也不算太差，包括郑獬本人在杭州的政绩也算可以。
再说薪酬，祖无择下去是带着一大串实职官下去的，一个收入最少一千多贯，说清廉，相信祖无择不及范仲淹吧，但就是范仲淹在养活一大家人之后，还救济了许多百姓，另外还余下钱购买了大片良田给族人，何至于连养三个人都养不起，那么祖无择的薪酬哪儿去了，难道穿越到澳门，在赌场花掉了？
因此王巨写了一封信，让大舅哥李贞打听了一下，李贞很快回了一封信，说是祖无择在杭州呆的时间不长，他印象不算深，至于爱民的什么，李贞没有感觉到，也许祖无择爱民吧，但有两条，第一条祖无择曾经是有一段时间寄居僧寺，不过不久便修了一个比较豪华的宅子，其次可能普通百姓不知道内幕，然而李贞在杭州呆了那么久，却打听到真相，祈福确有此事，但是现任杭州府尹郑獬发起的。
这是后来的故事。
现在王巨不清楚，他听张载说完，徐徐道：“恩师，你掉到坑里去了。”
“为何？”郭氏问。
“可能祖无择某些方面做得不大好吧，然而重要吗？如果恩师断此案过重，介甫公必然会欢喜，但恨恩师的人那不要太多。如果恩师断此案过轻，那么欢喜恩师的人会有很多，然而介甫公必恨恩师。”
“我禀公断案吧。”
“恩师，此案真相我不清楚，但相信以祖无择为标准择官，那是高标准了，如果于心不忍，则国家制度何在？如果吹毛求庇，则必众人痛恨。其实此案不在案子本身，而在案子之外。我再打一个比喻，恩师虽在儒学上颇有建树，但在官场上，恩师可及祖无择。”
张载摇头，人家那可是担任过两制官的，真正的皇帝身边近臣，张载这个小官算什么，还不及王巨呢。
“论文章才气可及苏轼？论奇思淫巧，得皇帝信任，可及弟子。然而我们三人几乎在一起跑线上，苏轼可能比弟子差一点，但祖无择却胜过了弟子。便是如此，祖无择也成了牺牲品，况且恩师。”
“真不行，某辞职返乡。”
王巨哑口无言了，俺不做官了，那还说什么。
祖无择也能算是王安石的反击吧，不然总不可能被动挨打，这意味着惨酷的政治斗争终于拉开帷幕。
雪后天霁，王巨将妃儿从嵩