陆炳和吕芳的关系，因为嘉靖皇帝朱厚熜这层联系，变得很微妙。两个人在外面人看来，是嘉靖皇帝朱厚熜的左膀右臂而已，但是他们自己知道两人不是亲兄弟，却比亲兄弟还要亲。按照陆炳的原话的意思，要是吕芳是个女人的话，陆炳绝对会娶来当老婆。要是吕芳有生育能力的话，他们两人将来的儿女一定是成双成对的。为此吕芳早在陆炳的老婆怀孕的时候，就约定好了名分，无论陆炳将来有多少个孩子，无论是男是女，吕芳都是他们的干爹。也因为这个原因，厚脸无耻的陆炳经常以“你干儿子饿了要钱买吃的”、“你干女儿长大了要做新衣服”等等为理由，隔三岔五去吕芳那里搬东西。大到比人高的花瓶，小到针头线脑，陆炳只要看上了眼，就往自己家里搬。可适当吕芳向陆炳要钱或者借钱的时候，陆炳就摆出一副“要钱没有，要命有一条。”的样子。气的吕芳在人前人后大骂陆炳“吝啬鬼”、“死要钱”、“没义气”。
可是随着嘉靖皇帝朱厚熜站稳了脚跟，逐渐控制了大局之后。吕芳发现陆炳发生了一些变化，并不是说陆炳向背叛嘉靖皇帝朱厚熜。但是吕芳觉得陆炳多了一些私心，多了一种隔阂。后来才知道陆炳受了一些手下人的影响，开始为自己打算起来。锦衣卫是一个和皇室数代关系的组织，他们之所以能存在下去，不光是因为对历代皇帝绝对的忠心，更是因为他们和当权的太监之间若即若离的关系。也就是说锦衣卫是皇帝暗中牵制太监势力的工具，更是平衡臣工和皇室之间关系的组织。表面上看上去锦衣卫被锋芒毕露的东厂所压制着，其实每当皇帝有事的时候，最为强而有力的支持者不是大臣，也不是皇室其他成员，更不是什么太监，而是数代为皇帝默默付出的锦衣卫世家成员。这些人平时做人做事很低调，但是一有事的时候，他们的权力和手段层出不穷。陆炳全面控制锦衣卫的时候，渐渐了解了这件机密，同时也接触了一些这种人。这些人或是明说，或是暗示，要陆炳和太监，特别是吕芳这种有实权的太监保持关系的同时，也要保持一定的距离。陆炳也是为了自己的地位，还有将来子孙的富贵，才开始有意无意地和吕芳保持一定的距离，甚至于在一些事情上提出不同的意见。
吕芳和陆炳的第一次正面冲突，发生在嘉靖皇帝朱厚熜当政的十二年。嘉靖皇帝朱厚熜认为大局已经收到了控制，为了便于管理，决定收回锦衣卫的权力，还归司礼监管理。但是司礼监掌印太监已经换上了吕芳，吕芳已经控制了司礼监，无论谁出任兼管锦衣卫的司礼监秉笔太监，都不会受到影响。嘉靖皇帝朱厚熜想把陆炳安排到更重要的位置，帮陆炳实现出将入相的梦想。吕芳事先知道了一点点，以为陆炳也会同意嘉靖皇帝朱厚熜的决定。没想到陆炳不但没有答应嘉靖皇帝朱厚熜的决定，而且希望嘉靖皇帝朱厚熜彻底将锦衣卫从司礼监分离出去，单独成立一个只属于皇帝一个人直接领导的部门。嘉靖皇帝朱厚熜一时想不过来，吕芳却知道了陆炳的意思，陆炳想让锦衣卫和司礼监分庭抗礼，这样一来不要说东厂了，就是司礼监寄过来也或许会受到锦衣卫的牵制。这是绝对不可能的事情，作为司礼监掌印太监，吕芳也绝对不会不允许这种事情存在和发生。嘉靖皇帝朱厚熜没有表态之前，陆炳和吕芳已经为了这件事情在嘉靖皇帝朱厚熜面前吵了起来。三个人第一次同时觉得三个人一条心的时代过去了，嘉靖皇帝朱厚熜对吕芳和陆炳很失望。吕芳也看出了陆炳的野心，还有陆炳想完全控制锦衣卫的用心。为此所有的安排无限期被搁置，锦衣卫依然在陆炳手里，司礼监一样有权力监管锦衣卫。因为陆炳没有交出锦衣卫的实权，所以所谓的兼管锦衣卫的司礼监秉笔太监只是一个有名无实的虚名。也因为这样，陆炳想出将入相的梦想，一直没有实现。
陆炳在锦衣卫一呆就是三十多年，势力盘根错节，可以说是完全控制了锦衣卫。不但陆炳长期出任锦衣卫最高指挥官，就连陆炳的兄弟还有儿子们也都在锦衣卫。吕芳多次提醒陆炳，不能这么明目张胆的做，可是陆炳一点也听不进去。后来导致除了陆家之外，就连宫里的太监也指挥不动锦衣卫。当嘉靖皇帝朱厚熜有一次无意之中说出了“锦衣卫是陆家的。他们只认识陆炳。”的时候，吕芳知道陆炳坏事了。多疑又爱大权独揽的嘉靖皇帝朱厚熜，不会无的放矢，看来嘉靖皇帝朱厚熜已经对陆炳起了戒心。正当吕芳准备找个机会亲自秘密会见陆炳，当面把这件事情告诉陆炳的时候，什么都已经晚了。嘉靖皇帝朱厚熜以陆炳劳苦功高为理由，赏下一颗新研制的金丹。嘉靖皇帝朱厚熜赏赐亲信金丹有两个目的，第一表示对亲信手下的宠爱，第二就是用这些亲信手下试药。陆炳已经多次得到这种殊荣，所以并不在意。当刚刚得知这个消息的吕芳失态地赶到陆家，企图阻止陆炳的时候，陆炳已经服下了这颗金丹。吕芳也顾不得外人在场，也不再顾忌会不会事后被嘉靖皇帝朱厚熜责骂，马上拿起一边的一大壶清水往陆炳嘴里灌。并下令自己的亲信马上去陆家厨房，熬一锅的绿豆汤。可是因为大家手忙脚乱，也因为陆家人并不相信吕芳，以为吕芳的人会在绿豆汤下毒，所以拖拖拉拉的。当绿豆汤送来的时候，陆炳已经不行了。陆炳已经不能说话了，他死死地抓住吕芳的手，他有太多的怨恨和不满说不出来。陆炳死了，陆家出奇的安静，就连表面上的工作也不做。这当然是吕芳的主意，为此嘉靖皇帝朱厚熜不但没有处置陆家，而且连吕芳也没有处罚。
吕芳做了这么多年的大内总管，知道的机密太多了。当然更对嘉靖皇帝朱厚熜和皇室起了一种莫名其妙的不祥感觉。这不是空穴来风的，而是一种直觉，一种吕芳多年来屡试不爽的直觉。大明皇帝可以说是历朝历代最穷的皇帝，也可是说是最富有的皇帝。早在朱元璋打下江山的时候，他并没有伺机敛财，更没有侵吞敌人们的财产。无论是陈友谅的、还是张士诚的，或者是大元皇室的财产，朱元璋都要手下人一一记清楚每一笔财物。这些钱有的进了国库，有的分给了有功之臣，更多的发给了因为战乱而失去亲人和土地的老百姓。所以开国之初朱元璋的皇宫几乎没有什么钱，就连要建皇宫的钱也没有。为此大臣们主动提出这个皇宫由国库出钱建造，具体的钱找当地的富商要，就这样半敲诈半胁迫的逼着有钱的商人拿出钱，这才有了皇宫。为了省钱，也为了充实大家的日常生活，马皇后带头在皇宫内织布，所有的产品除了供应大家日常所需之外，全部按照市场价格卖给国家有关衙门。朱元璋又下达了一系列减税和免税的指令，所以在大明开国之初，皇家的私产少得不如一般的大户人家。据说有一次为了吃肉，几个不大的皇子甚至于打起来。马皇后一边亲自责打孩子们，一边暗自流泪。堂堂皇子不但吃不起肉，而且会为了一两块的肉打起来，说出去谁会相信？可是这种事情真的在大明皇宫发生了，原因就是因为皇家没有钱。
说起有钱，大明皇帝真的很有钱。洪武年间赫赫有名的“财神”沈万三，他的家产多的可以说是“富可敌国”。可是谁会想到抄家的时候，沈万三的家产不过三十多万两银子，这和名声在外的沈家实际财产大大不符。其实沈万三的家产一部分已经被沈万三提前转移，更多是被朱元璋用各种理由“借”走了。无论是建皇宫，还是修建长城，或者是北上用兵，沈万三的钱几乎已经被朱元璋拿光了。当然最后朱元璋依然没有放过沈万三，逼着沈万三交出众多民间店铺，换来沈万三一个儿子的性命。朱元璋保证沈万三这个儿子不但可以活下来，而且会照顾的很好。就这样原属于沈万三的店铺，一眨眼成为了大明皇室的私有财产。有了这笔钱之后，穷惯了也穷怕了的朱元璋腰杆子就硬了起来。
沈万三的钱到底有多少，现在已经没有知道了。但是吕芳知道一个大概，当年建文帝朱允炆出逃的时候，据说带走了一批价值不菲又容易携带的财宝。据说这笔钱的数量大概是当时朝廷十年的总收入，也就是说有了这笔钱朱允炆只要想复国，机会就很大。但是这笔钱只是皇宫财产中的一小部分，大多数的钱和财物因为时间紧，又不容易搬运，只好留在了皇宫里。明成祖朱棣登基之后，这笔钱发挥了重大作用，不但拿来犒劳将士，更是用来稳定人心。为了寻找建文帝，这才有了郑和七下西洋的事情。郑和下西洋的最初的目的不是赚钱，也没有想到会这么好赚钱。当时的目的第一是寻找据说出海了的建文帝朱允炆，第二就是向各国宣扬大明的国威。没想到建文帝朱允炆没有找到，世界各国不但知道了大明，而且给大明带来了巨大的商机。吕芳在翻阅皇家秘档的时候发现，所有下西洋的本钱和费用，都来自于一个地方，这就是旧皇宫。也就是说朱元璋查抄沈万三的钱，这才有了下西洋的本钱。
因为七下西洋，所以给大明皇室，特别是皇帝自己带来了巨大的财富。据说七下西洋的利润，足可以负担起大明皇室所有成员日常开销近三百年。当时皇帝的私人财产几乎和户部的国库差不多一样多。这可能是朱元璋万万没有想到的，没想到他给后代子孙留下了这么大的财富。所以说大明皇帝是历朝历代最富有的皇帝，这一点并没有错。