渐渐就没有人再去祭拜小白龙庙，甚至到了罗、王传承第四代的时候，村民还上山捣毁了小白龙庙，甚至还将曾经养尸的王姓传人赶出了柜里村。
因为王姓传人被赶走，这就导致柜里村剩下的王姓一支的众人地位下降，并逐渐受到罗姓排挤，最后王姓一支的人就搬到了离柜里村十多里以外的地方重新建了一个村子，也就是今天的下柜里村。
而原来的柜里村也就成了上柜里村。
虽然王姓的传人被赶走，可剩下罗姓一支的传人却深知，小白龙的龙魂，是这里一切气运的基础，所以这一脉的传人在私下里还是供奉着和守护小白龙的龙魂，而那小白龙的龙魂，也没有因为自己的庙被捣毁而放弃对这个的地方的庇佑。
也是因为的小白龙神的这种大爱，所以罗家一支的传人才发下毒誓，世世代代都要守护小白龙神的龙魂。
到了明朝的时候，因为有龙魂的庇护，所以罗家一支的传人中就出了一个大官，于是他就下令在另一处山上重修了小白龙庙，并把被赶出村子的多年的王姓一支的传人又召回了村子里。
不过这个罗姓的传人，也有自私的想法，那就是把遗失的那一部分王姓分支的神通收回来，所以他在学会王姓一支的神通后，就又把那王姓一支的人赶出了小白龙庙。
王姓一支因此心生嫉恨，就利用养尸牌操控养尸袭击村民陷害小白龙庙，从而给罗家招致大祸，在几个“正派”的天师的联合围剿下，罗家一支传人差点断了香火。
当然小白龙庙也是再次被毁的干干净净。
到了清朝的时候，王姓一支回到下柜里村重新了小白龙庙，不过因为他没有龙魂，几十年后那小白龙庙就衰落了，王姓一支的传人也就从此再无踪迹。
不过每隔一段时间，王姓一支又会突然出现，并联络某些门派回上柜里村抢夺龙魂，好在都被罗家的传人给护住了。
不过在新中国建国之后，那支抢夺龙魂的王姓分支就消停了几十年，罗家一支的人也就觉得他们是断支了，毕竟在那个混乱年代，不知道有多少门派传承都给丢失了……
而在龙魂的庇佑的下，罗家又出了罗明发这么一个强人，他生意做的很成功，后来就回上柜里村修了那旅游区，重修了小白龙庙，进而供奉小白龙的龙魂。