离开李家时，刺史跟身边人说：“此人有通天彻底之能，万不可留！”
身边人立刻会意。
这天夜里，刺史身边人悄悄派人来暗杀李半仙。
好在李半仙早已料到此劫，他趁着天黑偷偷跑了出去。
暗杀人员将李半仙的家人、仆人、下人全都尽数杀光。
然后一把火烧了半闲堂。
好在，火起之后不久，下了一场大雨，将火势浇灭了。
当地百姓盛传，是老天爷也看不下去官府的所作所为了，所以才降了一场大雨。
虽然半闲堂没有被烧毁。
但李半仙的所有亲人都在这场无妄之灾中命丧黄泉。
从那以后，李半仙深受打击，每日借酒浇愁，烂醉如泥。
老百姓们见他可怜，就处处都关照着他。
但李半仙满嘴胡言乱语，行为癫狂，从来不服从众人的管教。
没办法，众人只好什么事都依着他。