至正八年，成遵被提升为佥淮东肃政廉访司事，改任礼部郎中，奉朝廷使命，巡视山东、淮北等地，考察地方官员是否贤能，他查清了清正廉洁的官员九人，贪赃枉法的官员二十一人，向朝廷作如实报告。九个人贤能的官员，获得了进行的金钱和物质奖励，受到了提拔重用。那二十一人为非作歹的人，受到严厉的惩处。至正九年，成遵改任刑部郎中，不久升迁御史台都事。当时台臣提出许多贪赃枉法的官员，由于父母死亡后，就免除了牢狱之灾。他们建议以后犯罪的贪官，纵使是父母死亡，也不许他们回家安葬，必须在监狱中服满刑罚，让那些作恶多端的人，逃脱惩罚。成遵却坚决反对，他在报告中说：“恶人固然可恨，但是与人伦相比，什么更重要呢？况且国家以孝治天下，宁失去千百的罪人，但是不可让天下有失去亲情。”御史大夫很赞赏他的建议。成遵不久升为户部侍郎。
至正十年，成遵升迁中书右司郎中。当时刑部里被关押，没有结案的有数百之多，成遵与他的同僚们，分别加以审查，共同研究案件的轻重，给予了相应的处理，没过多久，都全部处理完毕。当时有朝廷命令，向朝廷交纳粮食就能升官，其中有许多作奸犯科的罪人，都浑水摸鱼，缴纳粮食获得七品官职，受到仇家的检举揭发，有人提出既然交纳了粮食就能做官，其他罪过可以不必追究。
成遵却反对说：“卖官鬻爵，已经不是什么好事，况且卖官给奸淫的人，以后怎么能治理国家呢？必须剥夺任命，罢免他们的官职，返还他们的粮食，制定成法令，才能得以施行。”朝廷里的省臣听从他的报告。成遵后来被任命为工部尚书。最初，黄河白茅段决口，郓城、济宁等地被淹没。有人提出应当修筑堤坝，以遏制水势，有人提出必疏通南河，流入故道以减轻水势，而漕运使贾鲁却说：“必疏通南河，堵塞北河，让黄河流入故道。工程不大，却成效显著。”朝廷里对此争论不休，难以决定。
朝廷命令成遵与大司农秃鲁组成联合考察组，视察黄河，提出疏通和堵塞黄河的可性方案。上报朝廷审批。至正十一年春，他们从济宁、曹、濮、汴梁、大名，行程数千里，他们不辞辛劳，挖掘水井以量地质土层的深浅，测量河岸以研究水势的缓急，他查阅各历史典籍，广泛采集民众舆论观点，最后提出河道的故道，不可恢复。提出八种理由。
元朝丞相脱脱已经先听从了贾鲁的建议。等到成遵与秃鲁实地考察加京后，意图主张不能恢复过去的河道，他们说：“济宁、曹、郓等地，近年来天灾**不断。庄稼大面积歉收。粮食大量减产。民众饥饿贫困，民不聊生，如果有人趁机作乱。在这里聚集二十万人，就会产生巨大的动乱，后果一定比河患还要严重。”
脱脱听了他们的话，十分愤怒，责问他们说：“你们说那里的民众真的要造反吗？”他们从早晨的辰时，直到下午的酉时，辨论最终都没有达成结果。第二天，朝廷最高元首皇帝对成遵说：“治理黄河的工程，丞相已经作出了决定，而且有人出来承担责任，你就留一点口水养牙齿吧，不必再多说什么，不要影响治理工程的开展。”成遵却固执己见，回答说：“我腕可断，血可流，我的意见坚决不能改变。”于是朝廷就任命他为大都河间等处都转运盐使。最初的时候，汝、汴二郡富商很多，是运司的强大支柱，当时，汝宁盗贼蜂拥而起，就像猛烈的烽火燃烧起来，迅速蔓延，侵犯了汴境，朝廷急忙调兵前往那里讨伐，收集船只运送军粮，支援战争前线，导致商舟不通，商贩迅速灭绝。成遵随机应变，处理有当，保证了国家粮食和税收的征集。
至正十四年，朝廷调成遵任武昌路总管。武昌自十二年被当地的流寇所摧毁，在敌军中死亡的民众人达到十分之六七，在长江上下，各路强盗蜂拥而起，他们人多势众，阻断交通，当地米价飞涨，人心遑遑。成遵把当地的动荡不安的情况，报告了中央省臣，划拨军费储备钞票数万锭，募集勇敢士兵，组成敢死队，制造武器和船只，加强地方防卫，保证地方安宁，朝廷军队一边作战，一边推进，发放粮食救济太平、中兴的民众，许多民众才得以生存下来。当时中央的省臣率领进行大军，行军打仗，成遵摄全权指挥军事行动，当时的地方省府中，只有成遵一人。成遵严密部署哨兵警戒，加强城门防卫，召集地方民众参军，获得了五千多人，他设立万夫长四人，负责守卫四道城门，所以防卫严密，号令严肃，赏罚分明，纪律严明，作战能力很强。那些盗贼的船只在长江中往来，始终不敢近岸边，对城市发起攻击，城市因此得以安宁。
元朝随想脱脱当时还暗自高兴，以为治理黄河成功，天下就会平安无事。让他没有想到的是