对南北双方而言，东线的徐州、中线的襄阳、西线的汉中，绝不能失守。这三个地区归属的战役在古代历史上屡见不鲜。对北方政权来说，控制徐州地区后，既可以退守齐鲁和中原大地，又可以南下两淮，进而饮马长江。
从秦汉到明清，历代将相都对徐州的重要性给予了高度评价。元朝调整大运河航道后，大运河经过徐州，进一步提升了徐州的重要性。对中原王朝来说，大运河的畅通直接连接了南北各地的经济。
正所谓“徐州地方历代大规模征战五十余次，是非曲直，难以论说，但史家无不注意到，正是在这个古战场上决定了多少代王朝的盛衰兴亡，此兴比落，所以古代就有问鼎中原之说。”
由于徐州的重要性，历代王朝都会重点经营徐州，将其作为军事重镇、咽喉交通要地。在明朝统治时期，由于明朝拥有南北两个首都，出现了南北直隶十三个省的区划。出于各方面的需要，徐州府被划入了南直隶管理。
17世纪中期，清朝消灭了各地的农民起义军势力、南明各个政权，逐步确立了对全国的统治。根据自己的需要，调整了各省的区划，形成了18个省的区划格局。
在明朝原有的行省基础上，清朝划分了18个省，出现了汉地18省的说法。北直隶更名为直隶省，南直隶更名为江南省。由于江南省面积辽阔、经济发达、难以管理，康熙皇帝在位的第6年，清朝撤销了江南省，拆分为江苏省、安徽省。
江苏省组建以后，徐州府隶属于江苏省管理。不过，徐州、淮安等江北地区的情况非常特殊。
江苏省由苏北、苏中、苏南三部分组成，各具特色。苏北与北方相似，苏中代表江淮文化，苏南则是典型的江南文化。
自江苏省成立以来，关于苏北地区是否独立成省的讨论一直存在。清朝末期，为解决漕运衙门的就业问题，曾短暂设立江淮省，将江苏省长江以北地区纳入其中。
但江淮省仅存3个月便被撤销。1912年，清朝灭亡，我国进入军阀混战时期。津浦铁路、陇海铁路的开通使徐州成为重要铁路枢纽。
随着徐州等地解放，江苏省面临一个难题。当时江苏省尚未完全解放，但徐州等地需要区划管理。
1949年，徐州地级市、新海连县级市、赣榆县、东海县、邳县、铜北县、华山县、沛县、丰县共1个地级市、1个县级市、7个县被划入山东省临时代管。当年地级市仅管理市区和郊区，不涉及县和县级市。
这8个县和县级市划入山东省后，分别隶属于台枣专区、滨海专区管理。建国初期，类似周边省份代管的模式比比皆是，如湖北省郧阳专区曾划入陕西省代管一年多。
50年代初，随着战争的结束，中国进入重建和生产恢复阶段。原本由安徽省代管的砀山县、萧县、江浦县等3个县，以及由山东省代管的徐州市、新海连县级市、赣榆县、东海县、邳县、铜北县、华山县、沛县、丰县等地，也归还江苏省。
在此基础上，江苏省设立了徐州地级市和徐州专区，形成了徐州专区和徐州地级市并存的现象。
