中铁二局的前身叫西南铁路工程局，是邓小平亲自定的。
1950年1月1日，为了筹备修建成渝铁路，重庆铁路工程局成立。1950年3月，邓小平在北京同铁道部长滕代远、副部长吕正操商谈修建成渝铁路事宜时指出，今年1月份成立的重庆铁路工程局，不能担起西南铁路修建的重任，应改名叫西南铁路工程局，两位部长同意。
1950年6月12日，西南铁路工程局成立大会在重庆举行。1952年7月1日成渝铁路全线通车，同年12月，西南铁路工程局更名为铁道部第二工程局，简称铁二局。
1950年6月15日，西南铁路工程局成立三天，成渝铁路开工。第一任局长赵健民主持了开工典礼，半年前他还是十七军的政委兼军长。当天，邓小平政委亲自到场致辞，贺龙司令员将“开路先锋”大旗郑重的交到了军区直属一总队李静宜司令的手中。
这天，3万军工一手拿枪、一手拿镐分赴各自指定的筑路工地，十余万筑路工人也陆续奔赴战场。从此，全局18万筑路大军高举“开路先锋”旗帜，从胜利走向胜利。
铁道工程六师：1952年，铁道工程六师从贵州调入四川，配属3个团共6000余人并入工程总队修筑宝成铁路，由铁二局直接领导。1953年，铁道六师奉命抗美援朝抢修铁路，铁二局选拔技工1000余人随同入朝，并作为技术骨干统一分配到铁道兵五、六、九、十一师，担任技术指导和领工员。
据史料记载，在1964年至1978年西南铁路大会战期间，铁二局高峰时期职工总数到达近17万人，陆续调往路内各局、院、厂等15个单位64135人后，全局截止1978年底共有职工98356人。
铁一局：1970年，铁二局奉令将十一处成建制调给铁一局，随后，原十四处改名十一处（以下称：新十一处）
太原铁路局：1972年，铁二局从八处调三个分队给太原铁路局。
铁三局：1973年，铁二局将七处成建制调给铁三局，并于1974年重新组建七处（以下称：新七处）。
武汉铁路局：1977年，铁二局从一处成建制抽调一段和四段十四队，从五处抽调二段十队给武汉铁路局。
郑州铁路局：1977年，铁二局从三处成建制抽调一段一队、从十处抽调十三队给郑州铁路局。
北京铁路局：1977年，铁二局从二处成建制抽调二队、五队给北京铁路局；1978年，铁二局再次从四处抽调二段给北京铁路局。
电气化局：1978年，铁二局从四处抽调大部分力量给电气化局。
建厂工程局：1978年，铁二局从四处抽调一段给建厂工程局。
隧道工程局：1978年，铁二局将修建成昆铁路沙木拉达隧道的十二处成建制调给隧道工程局，为隧道局一处、二处。1980年，铁二局二处划归铁五局后，再次调给隧道工程局，为隧道局三处。
1979年1月1日，根据铁道部指示，铁二局分建为第二、第五工程局。分建后铁五局机关驻贵阳，归属工程处有：
原铁二局二处：1980年从铁五局调给隧道局，今中铁隧道局三处。
原铁二局六处：今中铁五局二公司
原铁二局新七处：今中铁五局五公司
原铁二局八处：今中铁五局四公司
原铁二局新十一处：今中铁五局一公司
原铁二局十三处：今中铁五局三公司
原铁二局机筑处一半： 今中铁五局机械化公司
原铁二局建筑处一半： 今中铁五局建筑公司
原铁二局电务处一半：今中铁五局电务城通公司
原铁二局新运处一半：今中铁五局六公司
此外，原铁二局机关各部门、公安处一分为二。原铁二局怀化指挥部、武汉指挥部，贵阳第二机械厂、芷江汽车修理厂、怀化一医院、贵阳第二医院、第一汽车队、第三汽车队、贵阳第三中学、贵阳第四中学、遵义学校、贵阳第一小学、贵阳房建段、怀化第二材料厂、武汉第三材料厂、六枝水泥厂、长沙机械配件站、怀化机械配件站、贵阳机械配件总站、龙里生活采购站、怀化生活采购站、贵阳招待所、怀化招待所、怀化干部学校、湖南药材库、贵阳印刷所、麻阳食宿站、怀化食宿站、贵阳中心防疫站、长沙办事处、科学技术研究所也划归铁五局。
南昌铁路局：1981年10月27日，铁二局将三处全员6193人，成建制调给南昌铁路局。
中铁国际：2008年，原属中铁二局的川铁国际公司划入中铁国际。
中铁广州局：2011年，中铁二局从深圳公司抽调部分人员到中铁港航局深圳公司（今中铁广州工程局深圳公司）。
中铁武汉电气化局：2014年10月，中铁二局从电务公司调出部分人员到新成立的中铁武汉电气化局成都分公司。
70年来，军工、民工、民兵、学习……有多少人来到铁二局，多少人来过，又从中铁二局走向他方。
今天，我们重忆这段历史，就是要告诉我们的前辈、我们的亲人！你们奋斗的足迹我们不曾忘却，你们积淀的传统我们始终传承，你们高擎的开路先锋旗帜永远飘扬。
中铁二局是战场，打响了成百上千的基建战役。
中铁二局是学校，培养了数百万计的工程人才。
中铁二局是舞台，创造了彪炳千秋的卓越功勋。
