见到赵元佐如此，赵光义心中气更是不打一处来，命令身边武士将太子拿下，不容分说，送回太子寝宫
并且扬言，太子赵元佐只是得了疯病，从今往后，如果太子再要强行出宫，格杀勿论
太子自此，这才真正被软禁
太平兴国七年，公元984年，秦王赵廷美被劳改教养
临走，还是给太子托信一封，诉说自己难处，希望赵元佐能够看在叔侄情谊救自己一把
蔡元朗接到此信，立刻给太子呈上，太子看后也是泪如雨下，修书一封，告诉道，自己如今已经是泥菩萨过河自身难保，叔叔还是要靠自己摆脱皇帝黑恶统治才是上策
赵廷美接到信后，知道，所有人都有自己难处，只能放弃求太子计划，另寻他人给自己说好话
雍熙元年(984年)，赵廷美来到房州(今湖北房县)，因忧悸成疾而病逝，享年三十八岁
听说叔父赵廷美死信，太子赵元佐更是恼怒异常，带剑还要硬闯宫门，被身边人好说歹说才被劝下
雍熙二年(985年)，病情略有好转，宋太宗很高兴，为此而大赦天下。重阳日宫内宴会，赵元佐病刚好，不在赴宴之列，诸王宴会后回来，晚上经过赵元佐的宅第。赵元佐说:“你们都侍候皇上宴会，只有
我未到，这是抛弃我啊!“于是发怒，喝醉酒后在晚上纵火烧宫。宋太宗诏令派御史捕捉赵元佐，送到中书省审问，废为平民，安置在均州。宰相宋琪率领百官三次上表，请求留赵元佐在京师。赵元佐走
到黄山，宋太宗召他回来，废居南宫，派使者守护。咨议赵齐、王遹，翊善戴元叩头请罪，宋太宗赦免他们说:“这个儿子我教他还不改，你们怎么能辅导呢?“
这一年太子赵元佐被废，立太子弟弟赵恒为太子
赵元佐被封江陵牧，被下放徐州，被赶出太子宫
在江陵牧任上，皇帝可能还是看在太子母亲的份上，没有施加更多惩罚
只是废了太子师辛缘博，废蔡元朗这个中书舍人为太原府从六品留守典军孝，所有太子赵元佐身边近臣都被劳改
本来，蔡元朗在宫中就已经做得不舒服，早就想调走，如今来了机会，他反倒是舍不得
面对太子，他说不出来的可怜与扼腕
太子若是没有射那一箭有多好，太子若是没有冤枉别人射的有多好，太子若大方承认是自己做的有多好，只是一支箭废了太子身份，太子还只是个孩子啊
看看这些天太子宠辱不惊态度，看看这些天太子因惊发狂的表象，就足以明白，这一切不应该发生的
回到家，他与蔡曦聊天，告诉蔡曦，这些事后
蔡曦说，人各有命，那不是咱们这些老百姓可以考虑范围之内的，说不上皇帝可能会看在父子情分上，饶了太子也说不定
蔡元朗只能无奈点头