早在清政府末期,即有人提出修筑同蒲铁路,并奏请光绪皇帝批准,于1907年2月成立了“山西同蒲铁路有限公司”。但随后因为时局动乱、政权更替以及筹资困难等原因,同蒲铁路的修筑进展极为缓慢。直到1931年,阎锡山重回山西执掌政权后,才再次决定修筑同蒲铁路。
此时的阎锡山经历了中原大战的失败之后,把主要精力放在“培力”,即把“培军事、经济实力”当成了主要目标,因此,早修、快修铁路成为了阎锡山的当务之急。此前,阎锡山曾向南京国民政府提出修建同蒲铁路的要求,但遭到拒绝。这让阎锡山深深感到,要修成此路只能依靠山西人自己的力量。于是,阎锡山于1932年2月29日就任太原绥靖公署主任后,便于同年的 10月 20日设立晋绥兵工筑路局,积极筹备动工修路事宜。次年2月21日,又设立晋绥兵工筑路总指挥部,阎锡山亲任总指挥。
从1933年5月1日开工到1937年8月停工,经过4年零4个月的艰苦修筑,同蒲铁路筑路基(二线863公里,支线180公里)1043公里,也铺了轨(1937年大同沦陷,北同蒲的铺轨终止,距大同仅差8公里),到1937年3月,全程83%已通车。它的建成,奠定了山西铁路的大框架,至今仍发挥着效能,对山西经济社会的发展起到了重要作用。