兖州铁路是分三段修建完成。

第一段为兖州至济宁段，原称兖济支线，1912年建成通车，1944年拆除，1958年重新修复；第二段为济宁至菏泽段，曾称济菏铁路，1979年建成，1980年投入运行；第三段为新乡至菏泽段，1983年3月14日动工兴建，1985年12月建成通车。新菏段的建成，使新兖铁路成为一条跨越山东和河南两省的重要铁路干线。