西北军鼎盛时期有40万人马，是冯的私人军队。冯手下五虎上将，十三太保都是能征惯战之将，对冯先生的敬仰犹如泰山北斗，即使是叛冯投蒋的韩复榘和石友三也都是如此。
1930年秋，张学良入关武装调停中原大战，站到了老蒋一边，冯、阎联军在华北战场全线溃败，冯玉祥本人通电下野，逃入山西，冯军握有实权的主要将领则纷纷接受蒋介石的收编。张自忠带着自己第6师的5000人马突围到了晋南，西北军退到晋南的人马大概共有3万来人，其中以张自忠的部队最多，装备最好。冯玉祥指示由有“五虎上将”之称的宋哲元去收拾这支人马，掌管最后这点残兵败将。而此时的宋哲元逃到晋南时身边只剩几个警卫，真的成了光杆司令。
老蒋平定冯阎后，就计划回过头去对付刚壮大起来的中共红军，便把收编宋哲元和阎锡山余部的事情交给了张学良，毕竟黄河以北现在成了张的地盘。经过交涉，宋哲元同意将手头部队改编为东北军边防第3军，后改称陆军第29军。
虽然张自忠具有足够的实力争夺军长之位，但他也有明显劣势，就是入西北军的时间晚，资历也浅。后来担任第29军副军长的刘汝明就说张“虽然比我大一两岁，但在当时还纯然是后起之秀”。军队是最讲资历和渊源的，冯玉祥虽然下野，但在西北军威望仍在，当然29军得由冯的铁杆嫡系，资历最深的宋哲元来统带，张自忠出任38师师长。29军定下规矩，凡事由宋哲元刘汝明张自忠冯自安等八位巨头协商，谋定而后动。这应该是冯玉祥的意思，他不希望谁一人独大。
1933年下旬，冯玉祥来到察哈尔省，把集结在那里东北义勇军、热河军阀汤玉麟部、原西北军孙殿英部及其他杂牌军几万人整合起来，打出了“察哈尔抗日同盟军”的旗号，并一度发展到十万余人，想利用抗日再获得苏联援助，东山再起。但在老蒋和日伪军的前后夹击，以及苏联未兑现援助承诺下，抗日同盟军很快濒临解体，为了保住基本部队，冯玉祥以让宋哲元当察哈尔省主席为条件，同意解散同盟军，并将同盟军余部3万余人都交给29军收编。
宋哲元对于老长官的良苦用心自然心领神会，之后他派出第38师223团，专程护送冯玉祥前往山东，隐居在其老部下、山东省主席韩复榘控制下的泰山“读书”。随后29军全部进驻察哈尔，总算是有了一块属于自己的地盘，经济上宽裕了不少。宋哲元知道大家之前都不容易，此后发工资发赏金便非常大方。对于冯先生，宋哲元每月奉上5000大洋，韩复榘每月也是5000，再加500袋面粉。
29军进驻察哈尔后，不时要面对日伪军的挑衅和渗透，连续发生了察东和张北两次小规模冲突事件，为了缓和与日本人的矛盾，北平军分会主席何应钦便又与日本人签订了《何梅协定》，将中央军嫡系部队全部撤出华北，而与日伪占领区接壤的察哈尔、河北两省及天津、北平两市的一切事务，则交由1935年12月成立的冀察政务委员会负责，并由宋哲元兼任委员长。就这样，第29军实际上不是靠着自己的能力，而纯粹靠着中国政府对日本的妥协，得以成为暂时控制两国缓冲地带的一方军阀。
军阀最看重的是地盘，有土才有财，有财才有兵。宋哲元和29军也想在蒋日伪这三个鸡蛋上跳舞，保住这块来之不易的地盘。是虚以委蛇也好，还是借日防蒋也好，29军和日军高层是有往来的。张自忠就应邀出访日本，与日军高层唔谈。但宋哲元的秘书却说是张自己拿着日方邀请函去的，意思是没经过宋。宋张之间关系很微妙。
宋哲元也知道，自己和29军能取得割据两省两市的地位，和自己的能力没啥关系，自己对手下将领们也没啥凝聚力，所以他经常对手下团以上干部训话道：“你们都是这个集团的股东，大家只要跟着我好好干，有官就能当，有钱就能分。”在宋哲元的“以身作则”下，29军将官很多抛弃了西北军时期艰苦朴素的传统，整天花天酒地，比如宋哲元就经常和其他军阀将领打牌，一局就几十万元输赢。张自忠的鸦片瘾应该就在那时染上的，因为冯玉祥是连纸烟都不许部下抽，更别说鸦片了，那在西北军是要杀头的。
1937年7月7日夜，七七事变爆发，日方与宋哲元都不希望扩大事态，宋当然不愿意在自己好不容易获得的地盘上开战，于是宋哲元不得不与日军进行秘密谈判。经过十天秘密谈判，尽管日本方面先后提出了许多无理要求，但宋哲元还是基本全部予以答应，其中包括他本人亲自道歉、拆除北平城内防御工事、将第37师与第132师换防、阻止蒋军嫡系北上增援等。尽管如此，日本华北驻屯军还是不断向前线增兵，形成了对29军的兵力优势。而老蒋在获得苏联的支持，实现了联共抗日后，决定把中日冲突事态扩大化，国际化。蒋暗中通知宋哲元，表示将坚决支持其抵抗日军，并当即补充其子弹三百万发，宋哲元遂也转向对日强硬立场。
1937年7月28日，宋哲元召集手下高级将领开会，经商议决定由张自忠带四个团留在北平继续与日军交涉，29军主力则全部南撤。宋哲元临走时对张自忠说：“29军是冯先生的最后一点本钱，我们必须替他把部队保留下来。希望你与日本人继续谈判，为我们的撤退争取时间。”
张自忠虽然知道这一任务过于艰巨，但还是毅然决定留下来执行，为此他被很多不明真相的爱国群众骂为对日妥协的大汉奸。但29军在对日问题上是否真是洁身自好，一尘不染，好像也不是，他们是有自己的小算盘的。
