自从一八五三年底，张乐行接受赖汉英的建议，开始把以往散在各处的小捻并为大捻，再从各股大捻中选出全捻的总领袖。经过半年的准备，捻党在雉河集大汇合，祭告天地，宣布起义，并放弃了以前曾想象的“大汉”名号，转尔正式接受太平天国皖省自卫军的番号，张乐行被公推为自卫军总指挥。
皖省自卫军下面又划分为五个旗，张乐行自己为黄旗总首领，龚德树为白旗总首领，侯伟为红旗总首领，王贯三为黑旗总首领，韩万为蓝旗总首领。五旗之下又各设五边，每边有首领分统，各旗小的几千人，大的几万人，全部人马近十万。
从一开始张乐行公布的为各旗共同遵守的行军纪律来看，这只军队本身就不同于别的游民军队：
一、兵到之处，污淫妇女立斩。
二、强*奸幼童立斩。
三、掳掠妇女幼童隐藏不献者立斩。
四、不遵号令约束者斩。
五、小卒无理持械敢拒首领者斩。
六、临阵时故意漏下，支吾打粮，私自下乡找寻财物，淫人妇女者斩。
七、无号令私自打粮者斩。
八、对敌时私自逃走者斩。
九、起身听三声号炮齐集；未放炮而先行〔者〕斩，既放炮而后行者斩。
十、营中私自放火者斩。
十一、行路时故意下路者斩。
十二、行路各守分队炮车，先行后行者杖四十。一、扎下营盘，外更、门更，排班轮流；有错更者杖四十。
十三、营中无故伤人命者，一命一抵。
十四、借宿朋友家，本宅非吃食物件，妄取一物，杖四十。
十五、私造谣言者斩。
十六、虚报军情，酌议定罪。
十七、守营妄动者斩。
十八、打胜仗得枪炮、书药，分派公用；私为己有者，酌律定罪。
成军之后，虽然自始自终自卫军都牢牢坚守着独立的思想，但是，在积极配合天军作战方面，自卫军功部可没。在淮河以北的广大地区，张乐行不仅采取积极主动的战略，从而牵制了大量满清军队的后腿，也有利地支援了赖汉英部在淮河以南根据地的发展和巩固。
天军在寿春遭受重大挫折之后，韦昌辉放弃了战场主动权的争夺，一味希冀养精蓄锐以图日后再起，把自卫军在淮北的活动即看成是给自己争取难得休养生息的机会，同时又惦记着把这只军队彻底收拢到自己的麾下。当自卫军依旧拒绝南渡淮河的时候，韦昌辉竟索性以无力旁顾为借口，看着渐渐处于劣势的自卫军在满清大批军队的围剿下苦战而不管。
一年的时间，韦昌辉的平皖军又恢复了元气，拥有十五万之众，自卫军却有兴旺时的近二十万人马，打到只剩下了万余人，王贯三，韩万等总首领也相继阵亡。面对开始投入淮北战场的满清新军，他们不得不退过淮河。
尽管如此，天朝还是给予他们了很高的评价。张乐行在天京受到了天王、东王的召见，还见到了被人称为天神下凡的宁王，亲眼目睹了天京翻天覆地的变化。无论是天王，还是东王，对于他们对天朝做出的贡献大加赞赏，东王一再表示，自卫军是皖省百姓的书弟兵，是皖省百姓的希望，自卫军虽然暂时受挫，但不能灰心，要继续奋斗，在战争中发展壮大。为了给自卫军培养后备将领，东王还特意给了他数十个红军大学学兵的名额，并一再嘱咐他，一定要把最忠诚可靠、最优秀的青年将领派到红军大学去学习。
天朝没有把自卫军当外人。
不过，在庐州的境遇，却叫自卫军中对天朝原本就有的那种恐慌思想很快就占了上风。这只历尽艰辛转战已久的疲劳之师，并没有被安置到后方进行必要的整补，而是一直被安排在庐州外围的第一线，承担起再次与清军血战的重任。平皖军参谋长刘乃心多次找张乐行私下劝说，劝说张乐行放弃皖省自卫军的番号，并美其名曰，只有这样，根据地的百姓才会愿意投效他们，否则，无法给他们补充兵员。
很显然，北王就是要吞并他们这只一直独立的武装，打破以前那种听调不听宣的格局。作为自卫军主帅的张乐行，自会盟开始，心里就有一本帐。当初既然放弃了各旗主期望的“大汉”称号，而接受了太平天国的领导，那么，早晚一天就要完全融入到天朝中去。如今撤不撤自卫军的番号，对他来说完全两可。即便保留，他也不会再去按照以前的做法继续下去。在天京，他看到了未来的希望，没有天朝那种系统、周密的政治策略，单靠一只武装，是推翻不了已经有了近两百年根基的满清政权的。
但是，他更清楚，作为他手下的这些军队，还没有完全摆脱过去为捻时的那种思想，即便是在人马达到顶峰的时候，那也是维持着“居则为民，出则为捻”的一贯作风，农忙要生产，农闲才作战。飘忽不定的游击战才是他们的特长。
现在，本来就思乡心切的将士们再受到这种后娘养的待遇，张乐行能够忍受，他手下的将士们却怨言不止。走，一种杀回老家去，宁愿战死也不愿留下来受这窝囊气的思潮一时在尚未稳定的自卫军里占了上风。
面对这种严峻的情况，张乐行原本也有的那种对取消自卫军难以理解的想法却消失了。要想真正能成大业，眼下的自卫军就不能保留，这种对爱家乡比爱大业还重要的军队，留下来也成不了大气。不少人名义