抗日战争全面爆发后不久，日军入侵山东，手握重兵的韩复榘不战而逃。日军侵占山东后烧杀抢掠，无恶不作，沦陷区内的百姓生活在了水深火热之中。为了反抗日寇的暴行，以黎玉为首的中共山东省委先后组织了徂徕山、黑铁山和天福山抗日武装起义，建立了十多支游击队。经过大半年的发展，游击队的总兵力扩充到了数万人。虽然兵力不少，但没有经过严格的军事训练，应对日军的反扑很吃力。

为了尽快提升队伍的战斗力，黎玉专门从山东来到延安，寻求支援。毛主席听完黎玉的汇报后，决定派张经武前往山东坐镇指挥。张经武毕业于师范学校，有比较高的文化水平，红军时期办过军事教育，当过红一军团主力师的师长，还担任过军委纵队的参谋长，是能文能武的全才。山东游击队的成分比较复杂，需要做多方面的工作，张经武这个多面手正合适，因此毛主席才派他去山东坐镇。

张经武接受命令后，带着从抗大挑选的160余名干部，穿过敌人的封锁线，来到了山东。之后他和黎玉一起，将大大小小的数十支游击队整合为八路军山东纵队，下辖第二、第三、第四、第五、第六、第八、第九、第十二和第十三支队，总兵力24000多人。山东纵队成立后，张经武出任总指挥，黎玉为政委，王建安为副总指挥，王彬担任参谋长，江华为政治部主任。

游击队变成正规军只是第一步，之后张经武把从抗大带来的干部充实到了各个支队当中，让他们当教官，对部队进行严格的军事训练。训练一段时期后就上前线，在实战中检验。为了树立信心，张经武明确要求，训练完的部队上战场第一仗，必须要仔细侦察，选好目标，不打大仗，只对小股敌人下手，首战务必要打胜。通过不断打胜仗来提升士气和信心，为将来打大仗打基础。

在张经武的指挥下，山东纵队各个支队主动出击，采用伏击和夜袭等战术，专门对小股日伪军下手，取得了不俗的战果。打了胜仗，有了缴获，说明之前的训练是行之有效的。这样一来，不用教官们严格要求，战士们都心甘情愿地接受新的训练，形成了良性循环，再也没有人抱怨了。张经武坐镇山东纵队一年多时间，不仅初步完成了部队的正规化，还极大提高了队伍的战斗力，总兵力也由两万多人扩充到了四万多人，为创建山东抗日根据地打下了坚实的基础。

山东纵队的发展壮大引起了日军的恐慌，开始调集大批兵力前来围攻。为了支援山东纵队作战，肖华、陈光和罗荣桓纷纷入鲁。部队多了，山头也多了，张经武的资历虽然也很深，但和陈光相比，还是有差距的，因此他无法指挥115师在山东的部队。另一方面，115师虽然是八路军的绝对主力，但八路在山东的地盘，是山东纵队打下来的。强龙不压地头蛇，因此陈光也无法指挥山东纵队。

为了把这两支部队拧成一股绳，更好地打击敌人，1940年的时候，毛主席派徐向前来到山东，出任八路军第一纵队司令员，统一指挥山东境内的八路军队伍对日作战。徐向前上任后，第一纵队的指挥机关和山东纵队的指挥机关合并，张经武返回了延安。回到延安后，他先是出任八路军留守兵团副司令，给萧劲光当副手，后来又担任了陕甘宁晋绥联防军参谋长，协助贺龙指挥作战。

抗战胜利后，张经武又参加了解放战争，担任过晋绥军区参谋长和西北军区参谋长，继续和贺龙搭档。新中国成立后，他出任人民武装部部长，傅秋涛为副部长。1952年，张经武受毛主席委派，来到西藏工作，担任西藏工委书记，张国华是第一副书记，谭冠三是第二副书记。1955年秋季，我军举行了历史上第一次大授衔。张经武坐镇山东的时候，王建安是他的副手，许世友在他手下当旅长。

新中国成立后，张经武担任人武部部长，傅秋涛是副部长。大授衔的时候，王建安、许世友和傅秋涛都是上将，张经武却成了中将，这是为啥呢？他红军时期当过红一军团主力师的师长，八路军时期是山东纵队的掌舵人，为创建山东抗日根据地做出过重要贡献，解放战争时期的职务也不低，是西北军区的参谋长，这份资历和职务，完全够得上上将的标准。但1952年的时候，他已经离开了部队，来到西藏任职，而且没有兼任西藏军区的职务。

大授衔的时候有明确规定，不在军中任职的，原则上不参加授衔，东北抗联的周保中和琼崖纵队的冯白驹，都是因为这条规定无缘将星。张经武当时也离开了部队，原则上是不参加这次授衔的。但他是山东八路军的首任掌舵人，为山东抗日根据地的创建做出过重要贡献，在西藏工作期间，也有很大的贡献，不授衔的话，有点说不过去。综合衡量后，他被授予了中将军衔，不久后兼任西藏军区政委。