整编74师前身是国军第74军，1937年8月淞沪会战时成立，首任军长俞济时，辖51师（师长王耀武）、58师（师长冯圣法）。1938年底，武汉会战后，74军已成为主力军，为了加强该军的实力，常公将57师（师长施中诚）划入。
1939年秋，俞济时升任第10集团军副司令，王耀武接任74军军长，他对74军做了一些调整：副军长施中诚；51师师长李天霞；57师师长余程万；58师师长廖龄奇。王任军长后，狠抓作风和军纪，亲自教导战术，带领74军参加上高会战，歼灭了日军近万人，接着又参加长沙会战、常德会战等，立下了赫赫战功，被誉为抗日铁军，国军中的王牌军。
王耀武黄埔三期，资历不高。但在黄埔生中，既当“中执委”、省主席，又当“绥靖区”司令官仅他一人。他之所以晋升那么快，原因一，他打仗很有一套，战功显赫。原因二，在于他的精明与憨厚。王耀武是店铺小伙计出身，察言观色的功夫一流，擅长做生意，家里开饼干厂。
据沈醉回忆：王耀武擅长送礼，能送得恰到好处。礼品首选派克金笔和瑞士手表，当时都是很贵重的。他送礼从不在私底下送，而是光明正大的送。
每次去重庆，王耀武都会带不少金笔、手表，开会时向“目标人”借笔或手表。等会议结束后，他将自己带的金笔或瑞士手表再“还给”人家。为免除误会，他还会提前贴上“王耀武敬赠”小字，这样一来对方就会很默契地收下了，哪怕蒋介石、宋美龄在场。所以王耀武人际关系非常和谐，上下级关系都处得很好。
说王耀武憨厚，因为他不吃空饷，不喝兵血，在国军中是一股清流。他请客送礼的钱，都是他自己做生意赚的。对伤残士兵，他自己出钱额外补贴，所以74军凝聚力非常强，战斗力自然就强悍，抗战胜利后，74军被评为“五大主力”之首。
1944年2月，王耀武升任第24集团军司令，100军军长施中诚改任74军军长，74军副军长李天霞升任100军军长。李天霞走后，74军副军长余程万接任。施中诚到74军是过渡，他走后谁当军长？从余程万被任命为副军长来看，他应该是俞济时和王耀武心中最佳人选。
1943年12月常德保卫战，57师官兵几乎全部战死，最后关头余程万擅自带200多人突围，惹恼常公，从此被打入另册。抗战胜利后，1946年4月施中诚升任20集团军副司令，常公弃用余程万，委张灵甫为74军军长。
5月，74军整编为整74师，原先的3师9团制军改为3旅6团制的整编师，3个旅番号分别为51、57、58旅。74军整编前32720人，整编后为30978人。
张灵甫当军长后，为人跋扈且不善处理人际关系，得罪了不少人。1947年2月，王耀武和俞济时向常公建议：以整74师和整83师组建整编军，李天霞当军长，常公同意了。2个月后，整74师全军覆没，这事也就不了了之。王耀武和俞济时向常公建议让李天霞担任整编军军长，说明他们不认可张灵甫能力。
全面内战爆发后，1946年9月整74师两淮战役中损失3000人。10月涟水战役，第一次损失2000人；第二次虽攻下了涟水，但损失近6000人，总计损失高达10909人。在数次苦战后，74师步兵损耗已经达到极高的程度，急需补充兵员，尤其是连排级军官。后补充该师兵员14990人，但只有7697人到位。剩下7293人是该部3个新兵团兵力数。所以孟良崮战役前，整74师全部兵力为27000多人，步兵连老兵比例已经下降到40%。
1947年3月，整74师扩编为3旅9团。新扩3个团——51旅的153团、57旅的169团、58旅的174团，在后方安徽（短暂在南京）整训，负责整训的长官是74师副师长邱维达，没参加孟良崮战役。
同年5月16日孟良崮战役中整74师全军覆没，团以上军官命运如下：师部：师长：张灵甫，阵亡。副师长：蔡仁杰，阵亡。参谋长：魏振钺，被俘。副参谋长：李运良，被俘。炮兵指挥官：王玉卿，阵亡。辎重团团长：黄政，被俘。
51旅：旅长：陈传钧，被俘。副旅长：皮宣猷，被俘。参谋长：林铸年，突围。151团团长：王奎昌（突围）。152团团长：谢恺堂（突围）。
57旅：旅长：陈嘘云，被俘。 副旅长：明灿，阵亡。参谋长：王重之，阵亡。170团团长：冯继异（突围）。171团团长：周少宾（阵亡）。
58旅： 旅长：卢醒，阵亡。副旅长：贺翊章，被俘。 参谋长：程金波，被俘。172团团长：李仁俊（突围）。173团团长：雷励群（被俘）。
从孟良崮战场上逃出来的国军官兵有1000多人，包括旅参谋长林铸年和王奎昌、谢恺棠、冯继异、李仁俊4位团长。
