家里这一场惨痛的变故让守仁肝肠寸断。可还没容他伤心难过，麻烦事一件接一件地找上门来了。
夫人过世了，留下一份不小的家业。可也自从夫人过世起，就不断有人拿着各种借据上门讨债，布商、米商、肉店、酒肆，甚至还有赌档的人来讨赌债的，少的几两银子，多的数百两不等。王守仁做官做得好，讲学讲得好，却偏不会持家，账也看不懂，钱款的事也闹不清，一开始只知道让管家去称银子付给人家，不几天，府里银两罄尽，讨债的却还是不断，想到绸布店里去支，店里却说没钱可兑，把个王守仁逼得焦头烂额，无处措手。
总算守仁心思灵透，渐渐看出家里的情况不对。
家里的两个大管家宝一、宝三办事很不妥帖，那些来要账的人总是要偷着和他们两个见面，然后再来找守仁讨钱。守仁回头问这俩人时，这两个管家一味只说银子该给，有现银就称给人家，没现银时就拿家里值钱的东西去抵，虽然拿东西出去时也给守仁过过目，但人多手杂，拿出十件，守仁只看见五六件，而且所估的价又没准数，说是当了，当票也不见。
管着田亩的添福、添保两个管家又是另一副样子，整日见不到人，找也找不到，好容易找到家里，问起田庄里的事来，支吾再三，却没有一句准话。家里的田地，宜畹在时说已有两千多亩，如今却说只有一千多亩。守仁要看地契，添保只说在宝三手里，宝三又说在正宪手里，正宪却又找不到，又说是在王守度那里，问王守度，又不认。
一个多月操劳下来，守仁弄得头有斗那么大，家里的事一样也没查清，只知道情况不好，隐衷极多，日日有人催逼，眼看不是正路。可守仁在这些事上又死要面子，有难处也不肯对旁人说。倒是杏儿多了个心眼儿，教给尔古一套话，让他出去找夏良胜、钱德洪这几个学生喝酒，悄悄把话透了出去。这一下守仁的弟子们知道先生家里有难处了，一个个都自告奋勇管起事来。
先是守仁的一个学生叫魏廷豹，家里本是做生意的，账上的事最懂，见先生家里有事，就自愿出来帮着看账。接着守仁的两个亲近弟子王畿、钱德洪都找了来，住在守仁家里帮着魏廷豹清理账目。为免先生被讨债的小人磨烦，弟子们干脆一起凑出钱来，在山阴县东边的光相桥下借了一所宅子，请守仁先搬过去住。守仁见弟子们为自己费这么大工夫，哪里答应，再三推辞。后来众人想了个办法，只说这宅子是一所书院，将来凡到守仁这里来求学的，都要集于此处。
这么一来二去的，光相桥下这所宅子真就被当成书院办了起来，最后干脆请了守仁那个当绍兴知府的学生南大吉过来写了一块匾，叫作“阳明书院”，变成一处讲学的去处了。
到这时候，守仁就带着杏儿和尔古两个从自己家里搬出来，在书院里借了一处静室住下，家事一切不理，只管安心讲学。
自有了阳明书院，守仁门下弟子大集，每天来听讲者挤得没有坐处，外地来的人常常数以百计，每间房的地上一个挨一个打满了地铺，住都住不开，热闹得像个集市。到这时候守仁一心只顾着讲学，也就想不起家里的烦心事来了。
守仁这里清闲了，可替他对账管家的三个弟子却真是傻了眼！
原来王家这几年间不知怎么弄的，竟已被人从里到外全掏空了！两间绸布店全做亏了，店里的存货全盘过，折抵欠款，不但没有一分银子的利，反而净欠一千多两银子；一家米店仓里只有些卖不上价的陈米，账上却也有几百两的亏空；有契可查的田地仅七百亩左右，房产不过就是王家这座宅子，以及外面两个不值几两银子的破院子，其他的再没有什么。
府里的家支账目也是一团糟：吃的用的，拿账面和买回来的东西一对，里面全都有鬼，或是出高价买次货，或是买一斤报两斤；仆佣的月钱里也有亏额，有名有姓领着月钱的仆役，竟有四五个并无其人！